[논문 리뷰] Learned Deformation Stability in Convolutional Neural Networks.

Avraham Ruderman, Neil C. Rabinowitz외 2명|arXiv (Cornell University)|2018. 04. 12.

Advanced Neural Network Applications참고 문헌 14인용 수 10

한 줄 요약

이 논문은 컨volution 신경망(CNN)에서 변형 안정성(deformation stability)을 위해 상호 배치 풀링(interleaved pooling)이 필수적이라는 오랫동안 지속된 가정을 도전한다. 철저한 실험적 검증을 통해 변형 불변성(deformation invariance)은 이진적 성질이 아니며, 과제와 레이어에 따라 다양하게 변하며, 훈련 중에 필터의 스무쓰함(smoothness)을 통해 동적으로 조정되며, 실제로 풀링은 네트워크를 과도하게 안정화시켜 네트워크가 그 유도적 편향(inductive bias)을 상쇄하기 위해 학습해야 한다는 점을 보여준다. 이 연구는 변형 안정성이 아키텍처 설계가 아니라 훈련 과정을 통해 자연스럽게 발생한다는 점을 드러낸다.

ABSTRACT

Many of our core assumptions about how neural networks operate remain empirically untested. One common assumption is that convolutional neural networks need to be stable to small translations and deformations to solve image recognition tasks. For many years, this stability was baked into CNN architectures by incorporating interleaved pooling layers. Recently, however, interleaved pooling has largely been abandoned. This raises a number of questions: Are our intuitions about deformation stability right at all? Is it important? Is pooling necessary for deformation invariance? If not, how is deformation invariance achieved in its absence? In this work, we rigorously test these questions, and find that deformation stability in convolutional networks is more nuanced than it first appears: (1) Deformation invariance is not a binary property, but rather that different tasks require different degrees of deformation stability at different layers. (2) Deformation stability is not a fixed property of a network and is heavily adjusted over the course of training, largely through the smoothness of the convolutional filters. (3) Interleaved pooling layers are neither necessary nor sufficient for achieving the optimal form of deformation stability for natural image classification. (4) Pooling confers too much deformation stability for image classification at initialization, and during training, networks have to learn to counteract this inductive bias. Together, these findings provide new insights into the role of interleaved pooling and deformation invariance in CNNs, and demonstrate the importance of rigorous empirical testing of even our most basic assumptions about the working of neural networks.

연구 동기 및 목표

• CNN에서 이미지 인식에 변형 안정성이 필수적이라는 널리 퍼진 가정을 검증하기 위해.
• 상호 배치 풀링이 변형 불변성을 달성하기 위해 필수적인지 여부를 조사하기 위해.
• 풀링이 없는 현대 CNN에서 훈련 중 변형 안정성이 어떻게 변화하는지 이해하기 위해.
• 변형 안정성이 고정된 아키텍처적 특성인지, 아니면 학습된 동적 특성인지 판단하기 위해.
• 풀링이 초기 변형 안정성에 미치는 영향과 훈련에 대한 함의를 평가하기 위해.

제안 방법

• 저자들은 표준 이미지 분류 벤치마크에서 상호 배치 풀링이 있는 및 없는 여러 CNN 아키텍처를 훈련시었다.
• 통제된 입력 이미지의 변형을 사용하여 다양한 레이어에서 변형 안정성을 평가하였다.
• 변형 안정성의 Proxy로 학습된 컨volution 필터의 스무쓰함을 분석하였다.
• 훈련 에포크 동안 변형 불변성의 변화를 추적하여 동적 적응을 관찰하였다.
• 풀링이 있는 및 없는 초기화를 가진 네트워크를 비교하여 풀링이 유도하는 유도적 편향을 평가하였다.
• 기울기 기반 분석을 통해 필터 가중치가 풀링으로 인한 과도한 안정성에 대응하기 위해 어떻게 조정되는지 연구하였다.

실험 결과

연구 질문

• RQ1 변형 불변성은 이진적 성질인가, 아니면 CNN에서 과제와 레이어에 따라 다양하게 변하는가?
• RQ2 상호 배치 풀링이 이미지 분류에서 최적의 변형 안정성을 달성하기 위해 필수적이거나 충분한가?
• RQ3 풀링이 없는 현대 CNN에서 훈련 과정 중 변형 안정성은 어떻게 변화하는가?
• RQ4 풀링은 네트워크를 과도하게 안정화시키는 유도적 편향을 유도하는가, 이에 따라 네트워크가 이를 상쇄하기 위해 학습해야 하는가?
• RQ5 변형 안정성이 아키텍처 설계가 아니라 필터의 스무쓰함을 통해 얼마나 학습되는가?

주요 결과

• 변형 불변성은 이진적 성질이 아니며, 과제와 레이어에 따라 정도가 다르게 나타나며, 깊이에 따라 다른 요구사항을 가진다.
• 변형 안정성은 고정된 성질이 아니며, 주로 컨볼루션 필터의 스무쓰함을 통해 훈련 중에 동적으로 조정된다.
• 상호 배치 풀링은 이미지 분류에서 최적의 변형 안정성을 달성하기 위해 필수적이지도, 충분하지도 않다.
• 초기 상태에서 풀링은 과도한 변형 안정성을 유도하여, 네트워크가 훈련 과정에서 이를 상쇄하기 위해 학습해야 한다.
• 변형 안정성의 발생은 아키텍처 구성 요소(예: 풀링)의 직접적 결과가 아니라, 필터 스무쓰함에 의해 이끄는 학습된 현상이다.
• 풀링 없이 훈련된 네트워크는 필터 적응을 통해 과제에 특화된 변형 불변성을 학습하여 일반화 성능이 유사하거나 더 뛰어나다.