[論文レビュー] Joint Training of Deep Auto-Encoders

Yingbo Zhou, Devansh Arpit+2 more|arXiv (Cornell University)|May 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 15被引用数 2

ひとこと要約

本論文は、すべての層にわたる1つのグローバル再構成目的を最適化することで、深層オートエンコーダーを共同で訓練する手法を提案している。各オートエンコーダー層を局所的正則化子として扱う。この手法は、正則化を伴うと特に顕著に、データモデリングおよび高層層の表現学習を向上させ、より深いアーキテクチャにおいて、グリーディな事前学習を上回る性能を示す。

ABSTRACT

Traditionally, when generative models of data are developed via deep architectures, greedy layer-wise pre-training is employed. In a well-trained model, the lower layer of the architecture models the data distribution conditional upon the hidden variables, while the higher layers model the hidden distribution prior. But due to the greedy scheme of the layerwise training technique, the parameters of lower layers are fixed when training higher layers. This makes it extremely challenging for the model to learn the hidden distribution prior, which in turn leads to a suboptimal model for the data distribution. We therefore investigate joint training of deep autoencoders, where the architecture is viewed as one stack of two or more single-layer autoencoders. A single global reconstruction objective is jointly optimized, such that the objective for the single autoencoders at each layer acts as a local, layer-level regularizer. We empirically evaluate the performance of this joint training scheme and observe that it not only learns a better data model, but also learns better higher layer representations, which highlights its potential for unsupervised feature learning. In addition, we find that the usage of regularizations in the joint training scheme is crucial in achieving good performance. In the supervised setting, joint training also shows superior performance when training deeper models. The joint training framework can thus provide a platform for investigating more efficient usage of different types of regularizers, especially in light of the growing volumes of available unlabeled data.

研究の動機と目的

• 深層オートエンコーダーにおけるグリーディな階層的事前学習の限界、特に上位層の学習中に下位層のパラメータを固定する問題を解決すること。
• グリーディな学習における固定された下位層のため、最適でない隠れ分布事前分布の学習を改善すること。
• すべての層を同時に最適化することで、より良いデータ分布モデリングと表現学習が達成されるかを調査すること。
• 正則化の役割が、共同訓練フレームワーク内での性能向上にどのように寄与するかを評価すること。
• 共同訓練の利点を、より深いモデルを用いた教師あり学習に拡張すること。

提案手法

• 深層オートエンコーダーは、重みを共有する単層オートエンコーダーのスタックとして構築される。
• グリーディな段階的学習プロセスに代わり、すべての層にわたる1つのグローバル再構成目的を共同で最適化する。
• 各層のオートエンコーダー目的が、全体の訓練目的の局所的正則化子として機能する。
• 学習の安定化と性能向上を図るために、正則化技術を明示的に共同訓練フレームワーク内に適用する。
• バックプロパゲーションを用いてエンドツーエンドで訓練し、勾配がすべての層を同時に流れることを可能にする。
• フレームワークは、より深いアーキテクチャにおいて、教師なしおよび教師ありの両設定で評価される。

実験結果

リサーチクエスチョン

• RQ1 共同訓練により、グリーディな事前学習と比較して、データ分布のモデリングが改善されるか？
• RQ2 共同訓練は、教師なし特徴学習のための高層層表現の質を向上させられるか？
• RQ3 共同訓練フレームワーク内での良好な性能を達成するため、正則化はどの程度重要か？
• RQ4 共同訓練は、特により深いモデルを用いた教師あり学習タスクに一般化可能か？
• RQ5 共同訓練フレームワークは、効率的な正則化戦略の探索のための基盤として機能できるか？

主な発見

• 共同訓練により、グリーディな事前学習と比較して、隠れ分布事前分布の学習がより良くなるため、データモデリング性能が顕著に向上する。
• より効果的な高層層表現が学習され、教師なし特徴学習の分野において強いポテンシャルを示す。
• 正則化は共同訓練スキームにおいて不可欠であり、その欠如は性能の低下を引き起こす。
• 教師あり設定において、共同訓練はより深いモデルで優れた結果を達成し、グリーディな事前学習を上回る。
• 共同訓練フレームワークにより、特に大量のラベルなしデータを用いた場合、さまざまな正則化タイプのより効率的な利用が可能になる。
• 層レベルの正則化を伴うグローバル再構成目的により、すべての層にわたって一貫性があり正確な表現が得られる。