[논문 리뷰] Partial Convolution based Padding

Guilin Liu, Kevin J. Shih외 6명|arXiv (Cornell University)|2018. 11. 28.

Advanced Neural Network Applications참고 문헌 2인용 수 75

한 줄 요약

논문은 drop-in 패딩 방식인 partial convolution based padding을 제안하며, 패딩 영역을 구멍으로 처리하고 누락 데이터에 맞춰 컨볼루션 출력을 재가중하여 ImageNet 정확도와 경계 영역 분할의 안정성을 향상시킨다.

ABSTRACT

In this paper, we present a simple yet effective padding scheme that can be used as a drop-in module for existing convolutional neural networks. We call it partial convolution based padding, with the intuition that the padded region can be treated as holes and the original input as non-holes. Specifically, during the convolution operation, the convolution results are re-weighted near image borders based on the ratios between the padded area and the convolution sliding window area. Extensive experiments with various deep network models on ImageNet classification and semantic segmentation demonstrate that the proposed padding scheme consistently outperforms standard zero padding with better accuracy.

연구 동기 및 목표

• 표준 패딩 방식(제로, 반사, 복제)이 이미지 경계에서 갖는 한계점을 동기 부여하고 해결한다.
• 부분 합성(convolution) 개념을 활용해 유효 입력에 의해서만 컨볼루션 출력을 조건화하는 패딩 방법을 제안한다.
• 제안된 패딩이 ImageNet에서 다양한 CNN 아키텍처에 대해 정확도 및 수렴성을 개선한다는 것을 보여준다.
• 추론 시 패딩 유형에 대한 견고성과 경계 영역 분할 작업에서의 개선을 입증한다.

제안 방법

• 패딩을 경계 구멍으로 정의하고, 슬라이딩 윈도우 내 유효 입력 대 전체 입력의 비율로 컨볼루션 출력을 재가중하는 부분 합성 재가중화(re-weighting)를 적용한다.
• 패딩으로 누락 데이터가 생길 때 컨볼루션을 스케일링하기 위해 r(i,j) = ||1_p1(i,j)||1 / ||M_p0(i,j)||1 를 사용한다.
• 유효 입력이 최소 하나라도 조건화된 위치를 표시하도록 각 컨볼루션 후 마스크를 업데이트한다.
• r(i,j) = 1일 때 제로 패딩은 partial convolution based padding의 특수한 경우임을 설명한다.
• 효율성을 위해 첫 번째 반복 이후 재가중화 계수를 캐시하는 순수 PyTorch 구현을 제공한다.
• 레이어를 통해 마스크를 전파하고 업데이트해 큰 패딩 크기에 partial convolution을 확장하는 방법을 시연한다.

실험 결과

연구 질문

• RQ1 제로 패딩을 partial convolution based padding으로 대체하면 ImageNet 및 CityScapes에서 CNN 아키텍처의 정확도가 향상되는가?
• RQ2 추론 시 패딩 유형의 변화에 partial convolution based padding이 견고한가?
• RQ3 경계에 집중된 재가중화가 이미지 경계 근처의 분할 성능에 미치는 영향은 어떠한가?
• RQ4 부분 합성 기반 패딩을 사용할 때의 수렴 및 안정성은 표준 패딩 방식에 비해 어떠한가?

주요 결과

• 부분 합성 기반 패딩은 ImageNet에서 제로 패딩에 비해 검증 정확도를 일관되게 향상시켰다(VGG 및 ResNet 패밀리).
• 향상은 VGG19 및 ResNet50에서 두드러지며(보고된 실행에서 top-1 상승 약 0.32–0.68%).
• 부분 합성 기반 패딩은 제로 패딩보다 성능 분산이 작아(표준편차가 더 낮아) 견고성이 더 크다.
• 부분 합성 기반 패딩이 적용된 모델은 제로 패딩 대비 더 빠르게 수렴하여 비슷하거나 더 높은 정확도에 도달한다.
• 시맨틱 세분화(도시경계에서의 DeepLabV3+에서), ResNet50 및 WideResNet38 백본 모두에 대해 mIOU를 개선하며, 타일 기반 평가가 일반 평가보다 경계 영역에서 추가 이점을 보인다.