[논문 리뷰] Rate-Distortion Auto-Encoders

Luis G. Sánchez Giraldo, José C. Prı́ncipe|arXiv (Cornell University)|2013. 12. 28.

Neural Networks and Applications참고 문헌 5인용 수 8

한 줄 요약

이 논문은 재구성 정밀도 제약 조건 하에서 입력과 표현 간 상호정보량을 최소화하는 비율-왜곡 오토인코더를 제안한다. 이는 유한가능한 행렬 기반의 비모수적 엔트로피 측정법을 사용하며, 명시적 희박성 또는 연결된 가중치 없이 과잉완성 오토인코더를 암묵적으로 정규화하여 분리 가능하고 구조적인 표현을 학습한다. 이는 가우시안 혼합분포와 MNIST 숫자 이미지에서 입증되었다.

ABSTRACT

A rekindled the interest in auto-encoder algorithms has been spurred by recent work on deep learning. Current efforts have been directed towards effective training of auto-encoder architectures with a large number of coding units. Here, we propose a learning algorithm for auto-encoders based on a rate-distortion objective that minimizes the mutual information between the inputs and the outputs of the auto-encoder subject to a fidelity constraint. The goal is to learn a representation that is minimally committed to the input data, but that is rich enough to reconstruct the inputs up to certain level of distortion. Minimizing the mutual information acts as a regularization term whereas the fidelity constraint can be understood as a risk functional in the conventional statistical learning setting. The proposed algorithm uses a recently introduced measure of entropy based on infinitely divisible matrices that avoids the plug in estimation of densities. Experiments using over-complete bases show that the rate-distortion auto-encoders can learn a regularized input-output mapping in an implicit manner.

연구 동기 및 목표

• 압축(낮은 상호정보량)과 재구성 정밀도 사이의 균형을 이루는 오토인코더 학습 목표함수를 개발하는 것.
• 가중치 감쇠나 희박성과 같은 명시적 정규화에 의존하지 않고 과잉완성 오토인코더의 과적합 문제를 다루는 것.
• 밀도 추정을 피하기 위해 유한가능한 행렬 기반의 새로운 엔트로피 측정법을 사용하는 확장 가능한 학습 알고리즘을 제공하는 것.
• 비율-왜곡 목표함수가 합성 및 실제 데이터 모두에서 의미 있는, 분리 가능한 표현을 이끌어내는지 보여주는 것.
• 정보이론적 목표함수와 오토인코더 학습 중 파arameter 업데이트의 구조 간의 관계를 탐색하는 것.

제안 방법

• 비율-왜곡 이론에 영감을 받아 재구성 왜곡 제약 조건 E[D(X, X̂)] ≤ D 하에 상호정보량 I(X;Z)를 최소화하는 오토인코더 학습 목표함수를 설정한다.
• 플러그인 밀도 추정을 피하기 위해 무한가능한 행렬 기반의 비모수적 엔트로피 추정기법을 사용하여 기울기 기반 최적화를 가능하게 한다.
• 은폐 분포를 부드럽게 하기 위해 밴드폭 매개변수 σx를 사용한 커널 기반의 엔트로피 항 근사법을 적용한다.
• 엔트로피 추정기에서 사용하는 그램 행렬의 조건수를 향상시키기 위해 군집화 기반의 미니배치 순서를 적용한 확률적 경사하강법을 사용한다.
• 연결된 가중치 없이 피드포워드 신경망으로 인코더와 디코더를 모두 학습시켜 비선형 사상의 유연성을 확보한다.
• 두 항목 간의 트레이드오프를 제어하는 하이퍼파ram터 μ를 사용하여 재구성 오차와 상호정보량 최소화를 최적화한다.

실험 결과

연구 질문

• RQ1 비율-왜곡 목표함수는 과잉완성 오토인코더에 대해 원칙적인 정규화 메커니즘이 될 수 있는가?
• RQ2 입력과 잠재 표현 간의 상호정보량 최소화가 학습된 특징의 품질과 구조에 어떤 영향을 미치는가?
• RQ3 무한가능한 행렬 기반의 제안된 엔트로피 추정기법이 밀도 추정 없이 효과적인 학습을 가능하게 하는가?
• RQ4 비율-왜곡 목표함수로는 희박성이나 연결된 가중치와 같은 명시적 제약 조건 없이도 분리 가능하거나 의미 있는 표현을 도출할 수 있는가?
• RQ5 왜곡 트레이드오프 매개변수 μ에 따라 학습된 표현의 구조(예: 덩어리, 붓자국, 전체 숫자)는 어떻게 변화하는가?

주요 결과

• 2D 성분을 가진 가우시안 혼합분포에서, 비율-왜곡 오토인코더는 20개의 은닉 유닛을 사용함에도 불구하고 주성분 곡선에 맞는 표현을 학습하였다. 특히 별도의 명시적 브로드밴드 없이도 성공하였다.
• 데이터 집중 영역에서 명확한 계곡이 있는 잘 정의된 에너지 경관을 생성하여 안정적이고 구조적인 재구성을 나타냈다.
• MNIST에서, 희박성 제약 조건이나 사전 정의된 노이즈 모델 없이도 국소화된 붓자국 유사한 특징을 학습하였으며, 왜곡 허용도가 증가함에 따라 특징이 덩어리에서 전체 숫자로 진화하였다.
• 군집화 기반의 미니배치 사용이 그램 행렬의 조건수를 향상시켜 엔트로피 추정 및 학습의 안정성을 높였다.
• 연결된 가중치나 명시적 정규화 없이도 임의의 해가 발생하지 않아, 상호정보량 최소화가 효과적인 정규화 기법임을 입증하였다.
• 트레이드오프 매개변수 μ는 인도크티브 바이어스를 제어했다: 낮은 μ는 더 압축되고 구조적인 표현을 유도하였고, 높은 μ는 더 풍부하고 세밀한 재구성을 허용하였다.