[논문 리뷰] LiftPool: Bidirectional ConvNet Pooling

Jiaojiao Zhao, Cees G. M. Snoek|arXiv (Cornell University)|2021. 04. 02.

Advanced Data Compression Techniques참고 문헌 38인용 수 9

한 줄 요약

이 논문은 신호 처리의 리프팅 기법에서 영감을 얻어 양방향 컨volution 신경망 풀링 방법인 LiftPool을 제안한다. 이는 역행 가능하고 세부 정보를 유지하는 다운샘플링을 위한 LiftDownPool과 정교한 업샘플링을 위한 LiftUpPool을 도입하여, 이미지 분류 및 세분화 작업에서 최신 기술 수준의 성능을 달성하며, 오염 및 교란에 대한 강건성도 향상시킨다.

ABSTRACT

Pooling is a critical operation in convolutional neural networks for increasing receptive fields and improving robustness to input variations. Most existing pooling operations downsample the feature maps, which is a lossy process. Moreover, they are not invertible: upsampling a downscaled feature map can not recover the lost information in the downsampling. By adopting the philosophy of the classical Lifting Scheme from signal processing, we propose LiftPool for bidirectional pooling layers, including LiftDownPool and LiftUpPool. LiftDownPool decomposes a feature map into various downsized sub-bands, each of which contains information with different frequencies. As the pooling function in LiftDownPool is perfectly invertible, by performing LiftDownPool backward, a corresponding up-pooling layer LiftUpPool is able to generate a refined upsampled feature map using the detail sub-bands, which is useful for image-to-image translation challenges. Experiments show the proposed methods achieve better results on image classification and semantic segmentation, using various backbones. Moreover, LiftDownPool offers better robustness to input corruptions and perturbations.

연구 동기 및 목표

• CNN에서 표준 풀링 연산의 정보 손실 및 비역행 가능성 문제를 해결하기 위해.
• 이동 및 변형과 같은 공간적 교란 및 오염에 대한 딥 네트워크의 강건성을 향상시키기 위해.
• 역행 가능한 다운샘플링을 활용하여 이미지 간 번역 작업에서 고품질의 업샘플링을 가능하게 하기 위해.
• 신호 처리 분야에서의 역행 가능한 서브밴드 분해의 이점을 현대 컨volution 신경망에 적용하기 위해.

제안 방법

• LiftDownPool는 분할, 예측, 업데이트 단계를 거쳐 특징 맵을 네 개의 서브밴드(LL(근사), LH, HL, HH(세부 정보))로 분해한다.
• 예측 단계에서는 짝수 색인 특징을 기반으로 홀수 색인 특징을 추정하고, 고주파 성분을 유지하기 위해 차이 신호(세부 정보)를 계산한다.
• 업데이트 단계에서는 짝수 색인 특징과 차이 신호를 조합하여 다운샘플된 근사 특징을 형성하며, 이는 완전한 역행 가능성을 보장한다.
• LiftUpPool는 기록된 세부 정보 서브밴드를 사용하여 LiftDownPool 과정을 역행하여 정교한 고해상도 특징 맵을 재구성한다.
• 이 방법은 인코더-디코더 아키텍처의 다운샘플링 및 업샘플링 레이어에 적용되며, 표준 MaxPool 및 MaxUpPool를 대체한다.
• 이 방법은 다양한 백본과 호환되며, 아키텍처의 대대적인 수정 없이 ResNet, SegNet, DeepLabV3+ 등의 모델에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 역행 가능한 풀링 메커니즘이 CNN의 특징 표현을 향상시키면서도 공간적 세부 정보를 유지할 수 있는가?
• RQ2 LiftDownPool는 이동 및 변형과 같은 입력 오염 및 공간적 교란에 대해 모델의 강건성을 향상시키는가?
• RQ3 LiftUpPool는 세분화 작업에서 MaxUpPool보다 더 높은 품질의 업샘플링을 생성할 수 있는가?
• RQ4 LiftPool는 다양한 백본과 이미지 분류 및 세분화와 같은 다양한 후행 작업에서 성능 향상에 얼마나 기여하는가?

주요 결과

• LiftDownPool는 ImageNet에서 다양한 백본을 대상으로 MaxPool, AveragePool, Skip 풀링을 모두 능가하는 최신 기술 수준의 성능을 달성한다.
• PASCAL-VOC12에서 LiftDownPool는 DeepLabV3Plus-ResNet50을 사용해 mIoU 78.7을 기록하여, 이어지는 최선의 베이스라인인 가우시안 풀링(77.4)을 초월한다.
• SegNet에서 LiftUpPool는 mIoU 68.9를 기록하여 MaxUpPool(62.7)과 MaxUpPool + BlurPool(64.0)를 크게 앞서며 뛰어난 성능을 보였다.
• 공격적 교란 하에서 LiftDownPool는 프레임 간 분류 변화율(FR)을 최대 50% 감소시켜 우수한 안정성을 입증했다.
• 이동 불변성 측면에서 LiftDownPool는 ResNet18에서 분류 일관성을 10% 이상 향상시켜 공간적 이동에 대한 강건성을 입증했다.
• 깊이가 다른 네트워크 전반에서 높은 성능를 유지하며, 더 깊은 네트워크(예: ResNet50)는 본질적으로 더 높은 이동 불변성을 보이지만, LiftDownPool는 경량 모델의 성능 향상에도 뚜렷한 기여를 한다.