[논문 리뷰] Pooling is neither necessary nor sufficient for appropriate deformation stability in CNNs

Avraham Ruderman, Neil C. Rabinowitz외 2명|arXiv (Cornell University)|2018. 04. 12.

Adversarial Robustness in Machine Learning인용 수 25

한 줄 요약

이 논문은 CNN에서 변형 안정성에 대해 풀링 레이어가 필수적이라는 오랫동안 지속된 가정을 도전한다. 연구는 변형 안정성이 풀링 덕분이 아니라 훈련 중에 학습된 필터의 스무딩 덕분에 발생하며, 오히려 풀링은 네트워크가 나중에 수정해야 하는 과도한 불변성을 유도한다는 것을 보여준다. 따라서 풀링은 최적의 안정성 확보에 필수적이지도, 충분하지도 않다.

ABSTRACT

Many of our core assumptions about how neural networks operate remain empirically untested. One common assumption is that convolutional neural networks need to be stable to small translations and deformations to solve image recognition tasks. For many years, this stability was baked into CNN architectures by incorporating interleaved pooling layers. Recently, however, interleaved pooling has largely been abandoned. This raises a number of questions: Are our intuitions about deformation stability right at all? Is it important? Is pooling necessary for deformation invariance? If not, how is deformation invariance achieved in its absence? In this work, we rigorously test these questions, and find that deformation stability in convolutional networks is more nuanced than it first appears: (1) Deformation invariance is not a binary property, but rather that different tasks require different degrees of deformation stability at different layers. (2) Deformation stability is not a fixed property of a network and is heavily adjusted over the course of training, largely through the smoothness of the convolutional filters. (3) Interleaved pooling layers are neither necessary nor sufficient for achieving the optimal form of deformation stability for natural image classification. (4) Pooling confers too much deformation stability for image classification at initialization, and during training, networks have to learn to counteract this inductive bias. Together, these findings provide new insights into the role of interleaved pooling and deformation invariance in CNNs, and demonstrate the importance of rigorous empirical testing of even our most basic assumptions about the working of neural networks.

연구 동기 및 목표

• 이상적인 풀링이 이미지 분류 작업에서 CNN의 변형 안정성에 필수적인지 여부를 경험적으로 검증하는 것.
• 풀링 레이어 유무에 관계없이 훈련 과정에서 변형 안정성이 어떻게 발생하는지 조사하는 것.
• 풀링의 인덕티브 바이어스가 이미지 분류 작업에서 최적의 변형 안정성 달성에 도움이 되는지 여부를 판단하는 것.
• 풀링과 무관하게 필터 스무딩이 변형 안정성에 기여하는 방식을 조사하는 것.
• 입력과 레이블의 공동 분포가 계층 간 최종 변형 안정성 패턴에 어떻게 영향을 미치는지 분석하는 것.

제안 방법

• 네트워크의 반응을 조사하기 위해 애핀 변환과 투명판 스플라인을 포함한 매개변수화되고 제어 가능한 이미지 변형 클래스를 설계하였다.
• CIFAR-10과 ImageNet에서 풀링 레이어를 포함하거나 제거한 CNN을 훈련하고, 초기화 시점과 완전 훈련 후의 변형 민감도를 측정하였다.
• 계층과 네트워크 아키텍처 전반에 걸쳐 입력 변형에 대한 평균 반응 변화로 변형 안정성을 정량화하였다.
• 가우스 필터를 사용한 컨volutional 커널 스무딩을 통해 필터 스무딩을 측정하고, 스무딩과 변형 안정성 간의 상관관계를 분석하였다.
• 작업 구조(P(Y|X))의 영향을 분리하기 위해 랜덤 레이블로 네트워크를 훈련시켜 데이터 분포(P(X))와의 영향을 분리하였다.
• 아키텍처와 훈련 방식 간의 계층별 변형 안정성과 필터 스무딩을 비교하여 수렴 패턴을 식별하였다.

실험 결과

연구 질문

• RQ1 이미지 분류 작업에서 훈련된 CNN에서 풀링은 변형 안정성에 필수적인가?
• RQ2 이미지 인식 작업에서 최적의 변형 안정성을 달성하기 위해 풀링이 충분한가?
• RQ3 풀링이 있는가 없는가에 관계없이 훈련 과정에서 변형 안정성은 어떻게 변화하는가?
• RQ4 풀링이 없는 조건에서 필터 스무딩은 변형 안정성에 어느 정도 기여하는가?
• RQ5 입력 데이터 분포와 지도 학습 작업(레이블 구조)이 함께 변형 안정성의 학습된 패턴에 어떻게 영향을 미치는가?

주요 결과

• 풀링이 없는 네트워크는 초기화 시 변형에 민감하지만, 훈련 과정에서 필터 스무딩을 통해 변형 안정성을 학습한다.
• 중간에 풀링 레이어가 포함된 네트워크는 초기화 시 과도한 변형 안정성을 가지며, 이는 훈련 과정에서 보정이 필요하다. 이는 풀링의 인덕티브 바이어스가 이미지 분류 작업에 너무 강하다는 것을 시사한다.
• 아키텍처에 관계없이 풀링이 있는지 없는지에 관계없이, 계층 간 최종 변형 안정성 패턴은 유사한 구조로 수렴한다.
• 필터 스무딩은 변형 안정성의 주요 원동력이며, 더 스무딩된 필터를 가진 네트워크는 변형에 더 높은 불변성을 보인다.
• 실제 작업이 없는 랜덤 레이블로 훈련한 경우 변형 안정성 패턴은 아키텍처의 인덕티브 바이어스에 의해 지배되지만, 실제 작업이 존재할 경우 작업 구조가 아키텍처 특유의 바이어스를 압도한다.
• 입력과 레이블의 공동 분포 P(X,Y)가 최종 변형 안정성 패턴을 결정짓는 데 핵심적인 역할을 하며, 이는 지도 학습 작업 자체가 안정성의 주요 결정 요소임을 시사한다.