[논문 리뷰] Joint Training of Deep Auto-Encoders

Yingbo Zhou, Devansh Arpit외 2명|arXiv (Cornell University)|2014. 05. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 2

한 줄 요약

이 논문은 모든 레이어를 통합적으로 최적화하는 단일 전역 복원 목표를 최적화하여 딥 오토인코더의 공동 훈련을 제안한다. 각 오토인코더 레이어를 국소적 정규화 요소로 간주함으로써, 데이터 모델링과 고차원 레이어 표현 학습이 향상되며, 특히 정규화가 적용된 경우 성능이 뛰어나지며, 더 깊은 아키텍처에서 비지도 및 지도 학습 설정 모두에서 게으른 사전 훈련보다 뛰어난 성능을 보인다.

ABSTRACT

Traditionally, when generative models of data are developed via deep architectures, greedy layer-wise pre-training is employed. In a well-trained model, the lower layer of the architecture models the data distribution conditional upon the hidden variables, while the higher layers model the hidden distribution prior. But due to the greedy scheme of the layerwise training technique, the parameters of lower layers are fixed when training higher layers. This makes it extremely challenging for the model to learn the hidden distribution prior, which in turn leads to a suboptimal model for the data distribution. We therefore investigate joint training of deep autoencoders, where the architecture is viewed as one stack of two or more single-layer autoencoders. A single global reconstruction objective is jointly optimized, such that the objective for the single autoencoders at each layer acts as a local, layer-level regularizer. We empirically evaluate the performance of this joint training scheme and observe that it not only learns a better data model, but also learns better higher layer representations, which highlights its potential for unsupervised feature learning. In addition, we find that the usage of regularizations in the joint training scheme is crucial in achieving good performance. In the supervised setting, joint training also shows superior performance when training deeper models. The joint training framework can thus provide a platform for investigating more efficient usage of different types of regularizers, especially in light of the growing volumes of available unlabeled data.

연구 동기 및 목표

• 딥 오토인코더에서 게으른 레이어별 사전 훈련의 한계를 해결하기 위해, 하위 레이어의 파라미터를 고정한 채로 상위 레이어 훈련을 수행하는 문제를 해결한다.
• 고정된 하위 레이어로 인해 비효율적인 표현을 유도하는 은닉 분포 사전 확률의 학습을 향상시킨다.
• 모든 레이어를 동시에 최적화하는 것이 더 나은 데이터 분포 모델링과 표현 학습을 이끌 수 있는지 조사한다.
• 정규화가 공동 훈련 프레임워크 내에서 성능 향상에 기여하는 역할을 평가한다.
• 더 깊은 모델에서 공동 훈련의 이점을 지도 학습에까지 확장한다.

제안 방법

• 딥 오토인코더는 공유 가중치를 가진 단일 레이어 오토인코더의 스택으로 구성된다.
• 모든 레이어를 동시에 최적화하는 단일 전역 복원 목표가 도입되어, 게으른 레이어별 훈련 과정을 대체한다.
• 각 레이어의 오토인코더 목표는 전체 훈련 목표에 대한 국소적 정규화 요소로 작용한다.
• 학습의 안정성과 성능 향상을 위해 공동 훈련 프레임워크 내에서 정규화 기법을 명시적으로 적용한다.
• 모든 레이어를 동시에 통과하는 기울기 역전파를 사용하여 엔드 투 엔드로 모델을 훈련한다.
• 더 깊은 아키텍처에서 비지도 및 지도 학습 설정 모두에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 공동 훈련이 게으른 사전 훈련보다 더 나은 데이터 분포 모델링을 이끌 수 있는가?
• RQ2 공동 훈련이 비지도 특징 학습을 위한 더 나은 고차원 표현을 학습하는 데 기여하는가?
• RQ3 공동 훈련 프레임워크 내에서 성능 향상 달성에 있어 정규화가 얼마나 핵심적인가?
• RQ4 공동 훈련이 더 깊은 모델에서 지도 학습 과제로 일반화 가능한가?
• RQ5 공동 훈련 프레임워크가 효율적인 정규화 전략 탐색의 기반으로 기능할 수 있는가?

주요 결과

• 공동 훈련은 은닉 분포 사전 확률의 더 나은 학습을 가능하게 하여 게으른 사전 훈련 대비 데이터 모델링 성능을 크게 향상시킨다.
• 이 방법은 더 효과적인 고차원 표현을 학습하여 비지도 특징 학습에 강력한 잠재력을 보인다.
• 정규화는 공동 훈련 체계에서 필수적이며, 정규화 없이 수행할 경우 성능 저하가 발생한다.
• 지도 학습 설정에서 공동 훈련은 더 깊은 모델에서 게으른 사전 훈련을 능가하는 뛰어난 성능을 기록한다.
• 공동 훈련 프레임워크는 다양한 정규화 유형의 더 효율적 사용을 가능하게 하며, 특히 대량의 비라벨 데이터에서 두드러진다.
• 레이어 수준의 정규화를 통한 전역 복원 목표는 모든 레이어에서 더 일관되고 정확한 표현을 이끈다.