[논문 리뷰] Learning invariant features through local space contraction

Salah Rifai, Xavier Muller외 4명|arXiv (Cornell University)|2011. 04. 21.

Model Reduction and Neural Networks참고 문헌 22인용 수 16

한 줄 요약

이 논문은 프로베니우스 노름을 최소화함으로써 국소 공간 수축을 유도하고 소규모 입력 변형에 대한 불변성을 향상시켜 특징 학습을 개선하는 새로운 정규화된 오토인코더인 계약형 오토인코더(Contracting Auto-Encoder, CAE)를 소개한다. 이 방법은 여러 기준 데이터셋에서 깊이 있는 신경망을 사전 학습하는 데 사용되었을 때 최신 기술 수준의 분류 성능을 달성한다.

ABSTRACT

We present in this paper a novel approach for training deterministic auto-encoders. We show that by adding a well chosen penalty term to the classical reconstruction cost function, we can achieve results that equal or surpass those attained by other regularized auto-encoders as well as denoising auto-encoders on a range of datasets. This penalty term corresponds to the Frobenius norm of the Jacobian matrix of the encoder activations with respect to the input. We show that this penalty term results in a localized space contraction which in turn yields robust features on the activation layer. Furthermore, we show how this penalty term is related to both regularized auto-encoders and denoising encoders and how it can be seen as a link between deterministic and non-deterministic auto-encoders. We find empirically that this penalty helps to carve a representation that better captures the local directions of variation dictated by the data, corresponding to a lower-dimensional non-linear manifold, while being more invariant to the vast majority of directions orthogonal to the manifold. Finally, we show that by using the learned features to initialize a MLP, we achieve state of the art classification error on a range of datasets, surpassing other methods of pre-training.

연구 동기 및 목표

• 소규모 입력 변동에 대해 강건성을 향상시키면서도 데이터 고유의 구조를 유지하는 표현 학습 방법을 개발하는 것.
• 딥 러닝에서 일부 오토인코더 변종이 다른 것들보다 더 잘 일반화되는 이유에 대한 이론적 이해 부족을 해결하는 것.
• 데이터의 변동 요인에 대한 사전 가정 없이도 학습된 특징의 국소 불변성을 장려하는 정규화 기법을 제안하는 것.
• 제안된 펜alty가 정규화된 오토인코더와 노이즈 제거 오토인코더 모두와 연결됨을 보여줌으로써 결정론적 및 비결정론적 오토인코더를 연결하는 것.
• 사전 학습을 통해 깊이 있는 네트워크를 훈련시킬 때 이 방법이 일반화 성능을 향상시켜 우수한 분류 정확도를 달성함을 경험적으로 검증하는 것.

제안 방법

• 입력에 대한 인코더 활성화의 야코비안 행렬의 프로베니우스 노름에 기반한 펜alty 항을 도입한다.
• 이 펜alty는 국소 공간 수축을 강제하여, 훈련 예제 주변의 소규모 입력 변형에 대해 표현이 강건해지도록 한다.
• 신뢰할 수 있는 입력 데이터 표현을 보장하기 위해 표준 복원 손실과 함께 이 정규화를 결합한다.
• 야코비안의 특이값 스펙트럼을 사용하여 학습된 표현의 국소 기하학을 분석하고, 다양체의 구조를 드러낸다.
• 다중 CAE 레이어를 스택하여 깊이 있는 오토인코더를 훈련함으로써 고차원에서의 불변성을 향상시킨다.
• 멀티레이어 퍼셉트론을 CAE로 학습된 특징로 초기화하고 테스트 분류 오차를 측정함으로써 방법을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 의존하지 않고도 학습된 특징의 소규모 입력 변형에 대한 강건성을 어떻게 향상시킬 수 있는가?
• RQ2 야코비안의 프로베니우스 노름을 최소화할 경우 표현 공간에 어떤 기하학적 영향을 미치는가?
• RQ3 제안된 펜alty는 노이즈 제거 오토인코더와 정규화된 오토인코더와 같은 기존 방법과 어떤 관계가 있는가?
• RQ4 이 방법은 데이터의 기저 저차원 다양체의 구조를 어느 정도 드러내는가?
• RQ5 사전 학습을 통해 깊이 있는 네트워크를 훈련시킬 때, 학습된 특징이 최신 기술 수준의 분류 성능을 달성할 수 있는가?

주요 결과

• CAE는 여러 기준 데이터셋에서 표준 오토인코더와 정규화된 오토인코더보다 하류 분류 정확도 측면에서 일관되게 뛰어난 성능을 보였다.
• 특히 불변 특징을 학습하는 데서는 노이즈 제거 오토인코더와 비교해도 성능이 유사하거나 뛰어나다.
• 야코비안의 특이값 스펙트럼 분석 결과, CAE는 표준 오토인코더보다 더 뚜렷한 저랭크 구조를 보이며 데이터 다양체의 국소 차원성을 효과적으로 포착함을 확인했다.
• CAE를 스택하면 훈련 예제에서 더 먼 거리에서도 더 평탄한 수축 프로파일을 보이며, 더 깊은 표현과 더 강한 불변성을 확보함을 확인했다.
• 수축 비율 분석 결과, 데이터 다양체에 수직인 방향은 더 강하게 수축되는 반면, 다양체를 따라가는 방향은 유지됨을 확인했다.
• 멀티레이어 퍼셉트론을 CAE로 학습된 특징로 초기화했을 때, 모든 테스트 데이터셋에서 최신 기술 수준의 분류 오차를 기록했다.