[논문 리뷰] How Much Position Information Do Convolutional Neural Networks Encode?

Amirul Islam, Sen Jia외 1명|arXiv (Cornell University)|2020. 01. 22.

Advanced Neural Network Applications참고 문헌 25인용 수 93

한 줄 요약

논문은 절대 위치 정보가 CNN 특징 맵에 암묵적으로 인코딩되어 있음을 보여주고, 네트워크가 객체 인식용으로만 학습되었을 때도, 패딩 및 네트워크 깊이가 이 위치 인코딩에 기여하는 방식을 분석한다.

ABSTRACT

In contrast to fully connected networks, Convolutional Neural Networks (CNNs) achieve efficiency by learning weights associated with local filters with a finite spatial extent. An implication of this is that a filter may know what it is looking at, but not where it is positioned in the image. Information concerning absolute position is inherently useful, and it is reasonable to assume that deep CNNs may implicitly learn to encode this information if there is a means to do so. In this paper, we test this hypothesis revealing the surprising degree of absolute position information that is encoded in commonly used neural networks. A comprehensive set of experiments show the validity of this hypothesis and shed light on how and where this information is represented while offering clues to where positional information is derived from in deep CNNs.

연구 동기 및 목표

• CNN이 학습된 특징 맵에 절대 위치 정보를 인코딩하는지 조사한다.
• 합성 지상참값 위치 맵을 사용하여 사전 학습된 CNN의 위치 정보를 정량화한다.
• 패딩과 네트워크 구조가 위치 정보의 인코딩에 어떤 영향을 미치는지 분석한다.
• CNN의 어떤 계층이 더 많은 위치 정보를 담고 있는지와 이 정보를 읽어내는 방법을 개선할 수 있는지를 결정한다.

제안 방법

• ImageNet에서 사전 학습된 인코더 네트워크(VGG16, ResNet 등)를 동결한다.
• 다중 스케일 특징을 읽고 기울기와 유사한 위치 맵 hat(fp)을 출력하는 경량 위치 인코딩 모듈(PosENet)를 연결한다.
• 합성 지상참값 위치 맵(H: 수평 기울기, V: 수직 기울기, G: 가우시안, HS/VS: 스트라이프)을 대비하여 픽셀 단위 평균 제곱 오차로 PosENet를 학습한다.
• 자연 데이터셋과 합성 데이터셋에서 스피어먼 상관계수(SPC)와 평균 절대 오차(MAE)를 통해 위치 읽기 능력을 평가한다.
• 계층, 커널 크기, 패딩에 대한 제거 실험(아블레이션)을 수행하여 위치 정보가 저장되는 방식과 읽어내는 방법을 이해한다.

실험 결과

연구 질문

• RQ1 객체 인식을 위해 학습된 CNN이 특징 맵에 절대 위치 정보를 암묵적으로 인코딩하는가?
• RQ2 사전 학습된 CNN 특징에서 읽어내기 네트워크가 절대 위치 정보를 얼마나 쉽게 추출할 수 있는가?
• RQ3 네트워크 깊이, 커널 크기, 패딩이 위치 정보의 인코딩 및 추출에 어떤 역할을 하는가?
• RQ4 사전 학습된 CNN의 어떤 계층이 더 많은 위치 정보를 담고 있으며, 의미론적 콘텐츠가 이 인코딩에 어떤 영향을 미치는가?

주요 결과

• 일반적으로 사용되는 CNN에 위치 정보가 견고하게 인코딩되며, 동결된 인코더 위에 학습된 경량 읽기 모듈(PosENet)로 추출할 수 있다.
• ResNet 기반 읽기 모듈이 절대 위치 회복에서 VGG 기반보다 우수하며, 더 깊고 더 의미론적 특징 표현이 위치 인코딩에 도움을 준다는 것을 시사한다.
• 더 큰 수용영역(더 큰 커널 크기)과 더 깊은 읽기 모듈이 위치 정보의 추출을 향상시킨다.
• 경계에서의 제로 패딩이 위치 정보의 중요한 원천인 반면, 패딩을 제거하면 읽기 성능이 감소하고, 패딩을 추가하면 향상된다.
• 깊은 인코더 특징(fpos5)에서 위치 정보가 얕은 계층(fpos1)보다 더 강하게 나타나며, 고수준 특징이 더 많은 공간 신호를 담고 있음을 시사한다.
• 작업에 의미론성(주목도, 분할)이 포함될 때도 제로 패딩이 위치 신호에 계속 영향을 주며 비분류 작업으로의 사전 학습에 의해 강화될 수 있다.