[논문 리뷰] Position, Padding and Predictions: A Deeper Look at Position Information in CNNs

Md Amirul Islam, Matthew Kowal외 3명|arXiv (Cornell University)|2021. 01. 28.

Advanced Neural Network Applications참고 문헌 71인용 수 41

한 줄 요약

이 논문은 CNN에서 절대 위치 정보가 어떻게 인코딩되는지 연구하며, 0 패딩이 위치 인코딩을 유도함을 보여주고 경계 효과를 분석하며 패딩과 캔버스 선택이 분류 및 분할과 같은 다운스트림 작업에 미치는 영향을 입증한다.

ABSTRACT

In contrast to fully connected networks, Convolutional Neural Networks (CNNs) achieve efficiency by learning weights associated with local filters with a finite spatial extent. An implication of this is that a filter may know what it is looking at, but not where it is positioned in the image. In this paper, we first test this hypothesis and reveal that a surprising degree of absolute position information is encoded in commonly used CNNs. We show that zero padding drives CNNs to encode position information in their internal representations, while a lack of padding precludes position encoding. This gives rise to deeper questions about the role of position information in CNNs: (i) What boundary heuristics enable optimal position encoding for downstream tasks?; (ii) Does position encoding affect the learning of semantic representations?; (iii) Does position encoding always improve performance? To provide answers, we perform the largest case study to date on the role that padding and border heuristics play in CNNs. We design novel tasks which allow us to quantify boundary effects as a function of the distance to the border. Numerous semantic objectives reveal the effect of the border on semantic representations. Finally, we demonstrate the implications of these findings on multiple real-world tasks to show that position information can both help or hurt performance.

연구 동기 및 목표

• CNN이 절대 위치 정보를 인코딩하는지 평가하고 이 인코딩을 최대화하는 패딩 유형을 식별한다.
• 경계 효과가 학습된 표현과 다운스트림 작업 성능에 어떤 영향을 미치는지 조사한다.
• 캔버스/배경 선택이 패딩과 상호 작용하여 위치 인코딩 및 의미적 특징을 형성하는 방식을 이해한다.
• 테두리 근접성이 학습 및 의사결정에 미치는 영향을 위치별로 분석한다.

제안 방법

• 절대 위치 맵을 예측하기 위해 합성곱 인코더와 간단한 위치 인코딩 모듈을 쌍으로 사용하는 Position Encoding Network(PosENet)를 도입한다.
• 다른 CNN 백본이 포착한 위치 정보를 정량화하기 위해 그래디언트 유사 및 가우시안 그라운드트루 맵을 생성한다.
• 패딩 유형(제로, 반사, 복제, 원형)을 비교하고 이들이 위치 인코딩 및 다운스트림 작업 성능에 미치는 영향을 분석한다.
• 다른 색상의 캔버스와 그리드 크기에 이미지를 배치하여 위치 의존 실험을 수행하고 이미지 위치 전반에 걸친 경계 효과를 연구한다.
• 크기가 다른 그리드(k ∈ {3,5,7,9,11,13})를 사용하여 위치 의존적인 이미지 분류 및 분할을 평가하고 경계 효과에 대한 강인성을 분석한다.
• 패딩 구성 간 공정한 공간 해상도를 유지하기 위해 no-padding 구현과 양선형 보간을 탐구한다.

실험 결과

연구 질문

• RQ1 제로 패딩이 다른 패딩 유형에 비해 CNN에서 절대 위치 정보를 최대화합니까?
• RQ2 경계(테두리) 효과가 이미지 위치 전반에 걸친 절대 위치 정보와 어떻게 상호 작용합니까?
• RQ3 절대 위치 정보가 작업에 따라 의미적 학습을 개선하거나 방해할 수 있습니까(예: 분류 대 분할)?
• RQ4 캔버스 색상과 격자 기반 배치가 위치 인코딩 및 다운스트림 성능에 어떤 영향을 줍니까?
• RQ5 CNN 계층에서 위치 정보가 어디에 저장되며 패딩이 이 분포에 어떻게 영향을 줍니까?

주요 결과

• 제로 패딩은 다른 패딩 유형에 비해 최대의 절대 위치 정보를 인코딩한다.
• 위치 정보는 CNN의 깊은 층에서 더 강하게 인코딩되며, 상위 층(f5 in VGG16)이 더 큰 위치 인코딩을 보인다.
• 경계 근처의 패딩은 사전 학습된 모델에서 절대 위치 신호의 주된 원천이며, 패딩 제거는 이 정보를 감소시킨다.
• 일반적인 패딩 유형 중 제로 패딩이 가장 강한 위치 정보를 제공하며; 원형 패딩이 종종 두 번째로 좋고, 반사 및 복제는 신호가 약하다.
• 캔버스 색상(검정/흰색/평균)이 패딩과 상호 작용해 경계 효과와 작업 성능에 영향을 주며, 무패딩 구성에서 검은 캔버스가 종종 강건성을 높인다.
• 위치 의존 실험은 경계 효과가 입력 전체에 걸쳐 성능에 영향을 미치며, 패딩이 이 효과를 조절할 수 있음을 드러낸다.
• 위치 정보는 작업에 따라 유용한 특징이 될 수도 있고 버그가 될 수도 있으며, 시맨틱 분할과 같은 위치에 민감한 작업을 돕지만 텍스처 인식과 같은 변환 불변 작업에는 해를 끼칠 수 있다.