[논문 리뷰] Is Joint Training Better for Deep Auto-Encoders?

Yingbo Zhou, Devansh Arpit외 2명|arXiv (Cornell University)|2014. 05. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 26

한 줄 요약

이 논문은 싱글 글로벌 복원 목표를 통해 딥 오토인코더의 공동 학습을 제안하며, 이는 사전 훈련 없이도 종단 간 최적화를 가능하게 하여 데이터 모델링과 특징 표현을 개선한다. 실험적으로 공동 학습은 현대적 정규화 기법과 함께 사용할 경우, 특히 더 깊은 모델에서 비지도 및 지도 학습 설정 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Traditionally, when generative models of data are developed via deep architectures, greedy layer-wise pre-training is employed. In a well-trained model, the lower layer of the architecture models the data distribution conditional upon the hidden variables, while the higher layers model the hidden distribution prior. But due to the greedy scheme of the layerwise training technique, the parameters of lower layers are fixed when training higher layers. This makes it extremely challenging for the model to learn the hidden distribution prior, which in turn leads to a suboptimal model for the data distribution. We therefore investigate joint training of deep autoencoders, where the architecture is viewed as one stack of two or more single-layer autoencoders. A single global reconstruction objective is jointly optimized, such that the objective for the single autoencoders at each layer acts as a local, layer-level regularizer. We empirically evaluate the performance of this joint training scheme and observe that it not only learns a better data model, but also learns better higher layer representations, which highlights its potential for unsupervised feature learning. In addition, we find that the usage of regularizations in the joint training scheme is crucial in achieving good performance. In the supervised setting, joint training also shows superior performance when training deeper models. The joint training framework can thus provide a platform for investigating more efficient usage of different types of regularizers, especially in light of the growing volumes of available unlabeled data.

연구 동기 및 목표

• 깊은 오토인코더에서 게으른 계층별 사전 훈련의 한계를 해결하기 위해, 하위 계층의 매개변수들이 고정되어 있음에도 불구하고 원래 데이터 분포를 잃게 되는 문제를 해결한다.
• 모든 계층을 동시에 최적화하는 글로벌 복원 목표를 통해 공동 학습이 더 나은 데이터 모델링과 표현 학습을 이끌 수 있는지 조사한다.
• 정규화의 영향을 공동 학습에서 평가하며, 특히 전통적인 계층별 방법과의 비교를 통해 분석한다.
• 특히 더 깊은 네트워크에서 공동 사전 훈련이 지도 미세조정에 어떤 이점을 제공하는지 평가한다.
• 공동 학습을 다양한 정규화 기법을 효율적으로 활용할 수 있는 일반화 가능한 프레임워크로 정립한다.

제안 방법

• 전체 딥 오토인코더에 대해 단일 글로벌 복원 목표를 수립하여, 계층별로 게으르게 최적화하는 방식을 종단 간 훈련으로 대체한다.
• 각 은닉 계층에 국소 정규화 항을 도입하여, 계층별 정규화의 이점을 유지하면서도 공동 최적화를 가능하게 한다.
• 딥 오토인코더를 각 계층이 단일 계층 오토인코더인 스택으로 간주하며, 각 계층의 복원 손실이 글로벌 목표에 기여하도록 한다.
• 결합된 가중치와 비선형성을 갖춘 표준 오토인코더 아키텍처를 사용하며, 확률적 경사 하강법을 사용해 역전파 알고리즘으로 훈련한다.
• 노이즈 제거, 드롭아웃, L2 가중치 감쇠와 같은 현대적 정규화 기법을 공동 학습 프레임워크 내에서 적용하여 일반화 성능을 향상시킨다.
• 공동 학습과 계층별 방법 모두에 동일한 훈련 프rotocol를 적용하여, 데이터셋과 모델 깊이에 관계없이 공정한 비교를 확보한다.

실험 결과

연구 질문

• RQ1 딥 오토인코더의 공동 학습이 게으른 계층별 사전 훈련보다 더 나은 데이터 복원과 표현 학습을 이끌 수 있는가?
• RQ2 현대적 정규화 기법의 포함이 딥 오토인코더에서 공동 학습의 성능에 어떤 영향을 미치는가?
• RQ3 공동 사전 훈련이 지도 미세조정에서 이점을 제공하는가, 특히 더 깊은 모델에서 그런가?
• RQ4 공동 학습은 계층별 훈련 대비 샘플 품질과 다양성을 유지하거나 향상시킬 수 있는가?
• RQ5 원래 데이터 분포에 대한 정보를 계층 간에 보존하는 데 있어 글로벌 복원 목표가 국소 목표보다 더 효과적인가?

주요 결과

• 공동 학습은 복잡한 데이터 분포(예: MNIST-bg-random 및 MNIST-bg-rot-image)에서 게으른 계층별 사전 훈련보다 종종 더 나은 비지도 표현 학습 성능을 보였다.
• MNIST 데이터셋에서 정규화를 적용한 공동 학습(UJ)은 테스트 오차 18.00 ± 0.34를 기록했고, 계층별 훈련은 18.60 ± 0.34를 기록하여 일반화 성능 향상을 입증했다.
• 3층의 더 깊은 모델에서 공동 학습은 지도 미세조정에서 계층별 훈련보다 뚜렷한 성능 우위를 보였으며, 이는 더 깊은 아키텍처에 유리함을 시사한다.
• 적절한 정규화를 적용한 공동 학습 프레임워크는 정성적 비교를 통해 더 선명하고 다양한 생성 샘플을 생성했으며, 이는 더 나은 일반화와 더 적은 기억 현상의 증거로 볼 수 있다.
• 공동 학습의 성공은 고도의 정규화 기법의 사용에 크게 의존한다 — 이러한 정규화 없이 성능은 크게 악화되며, 이는 정규화 기법의 핵심적 역할을 강조한다.
• 지도 미세조정 이후에도 공동 학습으로 사전 훈련한 모델은 더 깊은 네트워크에서 뛰어난 성능을 유지했으며, 이는 공동 사전 훈련이 하류 작업을 위한 더 나은 초기화를 제공함을 시사한다.