[논문 리뷰] Quantifying Translation-Invariance in Convolutional Neural Networks

Eric Kauderer-Abrams|arXiv (Cornell University)|2017. 12. 10.

Advanced Neural Network Applications참고 문헌 8인용 수 81

한 줄 요약

이 논문은 CNN의 translation-sensitivity maps를 도입하여 번역 불변성을 정량화하고, 데이터 증강이 불변성의 주된 원인이며 아키텍처는 보조적 역할을 한다는 것을 보인다.

ABSTRACT

A fundamental problem in object recognition is the development of image representations that are invariant to common transformations such as translation, rotation, and small deformations. There are multiple hypotheses regarding the source of translation invariance in CNNs. One idea is that translation invariance is due to the increasing receptive field size of neurons in successive convolution layers. Another possibility is that invariance is due to the pooling operation. We develop a simple a tool, the translation-sensitivity map, which we use to visualize and quantify the translation-invariance of various architectures. We obtain the surprising result that architectural choices such as the number of pooling layers and the convolution filter size have only a secondary effect on the translation-invariance of a network. Our analysis identifies training data augmentation as the most important factor in obtaining translation-invariant representations of images using convolutional neural networks.

연구 동기 및 목표

• CNN에서 번역 불변성을 시각화하고 정량화하는 도구를 개발한다.
• 깊이, 풀링, 필터 크기 등 아키텍처 선택이 번역 불변성에 어떤 영향을 미치는지 평가한다.
• 학습 데이터 증강이 번역 불변성에 미치는 영향을 평가한다.
• 번역 불변성에 대해 서로 다른 CNN 아키텍처를 비교하는 정량적 척도를 제공한다.

제안 방법

• 입력 평행이동에 따른 출력 변화를 시각화하기 위해 translation-sensitivity maps를 도입한다.
• 기준 입력과 변형된 입력 사이의 점수 공간에서 정규화된 거리를 정의한다.
• 일차원 요약으로서 방사형 translation-sensitivity function을 계산한다.
• 데이터 증강이 있거나 없는 MNIST에서 여러 CNN 아키텍처를 훈련한다.
• Adam 최적화와 교차 엔트로피 손실을 사용하여 네트워크를 훈련하고 테스트 데이터에서 평가한다.
• 평균화된 translation-sensitivity maps를 사용하여 번역-불변성으로 네트워크를 비교한다.

실험 결과

연구 질문

• RQ1 CNN 표현은 어느 정도까지 번역-불변인가?
• RQ2 CNN의 어떤 특징들(아키텍처 대 훈련 데이터)이 번역-불변성을 주도적으로 결정하는가?
• RQ3 컨볼루션/풀링 층의 양이 다양할 때 번역-불변성에 어떤 영향을 미치는가?
• RQ4 훈련 중 입력 번역 증강이 아키텍처 변화보다 번역-불변성을 향상시키는가?

주요 결과

• 데이터 증강은 번역-불변 표현을 달성하는 데 가장 중요한 요소이다.
• 증강된 데이터로 훈련된 네트워크는 증강 없이 훈련된 네트워크보다 현저히 더 번역-불변이다.
• 아키텍처 특징(컨볼루션/풀링 층의 수, 필터 크기)은 증강에 비해 보조적 역할을 한다.
• 더 깊은 네트워크와 더 큰 필터 크기는 불변성을 개선할 수 있지만 이 이점은 증강된 훈련 데이터에 의존한다.
• 번역-불변성은 CNN 아키텍처에 내재된 것이 아니라 데이터 변형으로부터 학습될 수 있다.