[논문 리뷰] Differentiable Pooling for Hierarchical Feature Learning

Matthew D. Zeiler, Rob Fergus|arXiv (Cornell University)|2012. 06. 30.

Generative Adversarial Networks and Image Synthesis참고 문헌 24인용 수 9

한 줄 요약

이 논문은 전역 목표 함수 내에서 특징 맵과 풀링 파라미터(평균 및 분산)를 함께 최적화할 수 있도록 학습 가능한 가우시안 파arametrization을 사용한 미분 가능 풀링을 제안한다. 이는 계층적 모델에서 엔드 투 엔드 학습을 가능하게 한다. 디컨볼루션 네트워크에 적용했을 때, 이 방법은 공동 추론을 가능하게 하고, 명시적인 위치 인코딩을 통해 공간 정보를 유지하며, 비음성 및 특징 재설정을 통해 특징 품질을 향상시켜 MNIST 분류 오차를 0.84%로 개선한다.

ABSTRACT

We introduce a parametric form of pooling, based on a Gaussian, which can be optimized alongside the features in a single global objective function. By contrast, existing pooling schemes are based on heuristics (e.g. local maximum) and have no clear link to the cost function of the model. Furthermore, the variables of the Gaussian explicitly store location information, distinct from the appearance captured by the features, thus providing a what/where decomposition of the input signal. Although the differentiable pooling scheme can be incorporated in a wide range of hierarchical models, we demonstrate it in the context of a Deconvolutional Network model (Zeiler et al. ICCV 2011). We also explore a number of secondary issues within this model and present detailed experiments on MNIST digits.

연구 동기 및 목표

• 최대 풀링 또는 합성 풀링과 같은 히وري스틱 풀링 방법의 한계를 해결하기 위해, 미분 가능하지 않으며 전역 목표 함수에 대해 최적화되지 않는 문제를 해결한다.
• 풀링 파라미터를 미분 가능하고 학습 가능한 것으로 만들음으로써, 딥 계층적 모델의 모든 레이어에서 공동 학습 및 추론을 가능하게 한다.
• 가우시안 풀링 파라미터를 통해 '무엇' (특징의 외형) 과 '어디' (공간적 위치) 표현을 명시적으로 분리한다.
• 비음성 제약 조건, 적응형 희박성, 특징 맵 재설정을 통해 딥 모델의 특징 품질 향상과 일반화 능력 향상을 도모한다.
• MNIST 데이터셋에서 디컨볼루션 네트워크 프레임워크 내에서 미분 가능 풀링의 효과를 입증한다.

제안 방법

• 가우시안 커널 기반의 미분 가능 풀링 레이어를 제안하며, 각 풀링 영역은 학습 가능한 평균(공간적 위치)과 분산(확산)으로 파arametrization되며, 기울기 기반 최적화를 가능하게 한다.
• 가우시안 풀링을 디컨볼루션 네트워크 아키텍처에 통합하여, 특징는 언풀링과 컨볼루션을 통해 재구성되며, 풀링 파라미터는 특징 맵과 함께 공동으로 최적화된다.
• 재구성 오차(L2 노름)와 희박성 정규화(ℓp 노름, 0.5 ≤ α ≤ 1)를 조합한 전역 목표 함수를 사용하며, 풀링 파라미터는 프로젝션 기반 경사 하강법으로 최적화된다.
• 각 특징 맵 요소마다 학습 가능한 가중치 벡터 w(i)를 사용한 언풀링을 적용하며, ℓ2-노름이 1이 되도록 제약을 두어 가역적이고 미분 가능한 재구성을 가능하게 한다.
• 비음성 제약 조건을 프로젝션 기반 경사 하강법을 통해 적용하여 특징 맵의 분류 능력을 향상시키고, 특징 맵 내에서 상쇄 효과를 방지한다.
• 학습 중 특징 맵 재설정 전략을 도입하여, 반으로 나누어진 시점에 활성화를 0으로 재설정함으로써 악성 국소 최적점에서 벗어나고 특징 전문화를 장려한다.

실험 결과

연구 질문

• RQ1 딥 계층적 모델에서 특징 학습과 함께 공동 최적화가 가능한 미분 가능한 풀링 연산이 가능할 수 있는가?
• RQ2 공간적 위치(평균)와 특징 외형(활성화)을 분리하면 표현 학습 및 분류 성능 향상에 기여하는가?
• RQ3 비음성 제약 조건과 특징 재설정이 딥 모델에서 학습된 특징의 품질과 수렴에 어떤 영향을 미치는가?
• RQ4 특징 학습을 위한 계층적 모델에서 훈련과 추론 시 최적의 희박성 수준는 무엇인가?
• RQ5 비지도 딥 러닝 모델에서 분류적 미세조정 없이도 미분 가능 풀링이 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 미분 가능 풀링 방법은 비지도 디컨볼루션 네트워크를 사용하여 MNIST에서 테스트 오차율 0.84%를 달성하여 여러 생성 모델을 능가했다.
• 특징 맵에 비음성 제약 조건을 적용함으로써 가우시안 풀링을 사용할 경우 MNIST 오차율이 2.32%에서 0.84%로 감소하여 분류 능력 향상이 입증되었다.
• 학습 중 특징 맵 재설정을 통해 오차율이 1.00%에서 0.84%로 감소하여 필터 전문화와 특징 다양성이 향상됨을 확인했다.
• 훈련 시 ℓ0.5 희박성, 추론 시 ℓ1 희박성을 사용할 경우 최고의 성능를 기록하여 강한 희박성이 훈련에는 유리하지만 추론에는 유리하지 않음을 시사했다.
• 최대 풀링에 비음성 제약 조건을 적용한 경우 오차율 1.25%를 기록했지만, 동일한 제약 조건을 가우시안 풀링에 적용한 경우 오차율 0.84%를 기록하여 특징 보존 능력이 뛰어남을 입증했다.
• 이 방법은 모든 레이어에서 공동 학습을 가능하게 하여 상위 레이어의 정보가 하위 레이어에 영향을 주어 전체 표현 품질 향상에 기여한다.