[論文レビュー] Is Joint Training Better for Deep Auto-Encoders?

Yingbo Zhou, Devansh Arpit+2 more|arXiv (Cornell University)|May 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 26

ひとこと要約

本稿では、1つのグローバル再構成目的関数を用いて深層オートエンコーダーを共同で訓練する手法を提案し、より良いデータモデリングと特徴表現を実現するエンド・ツー・エンド最適化を可能にする。実験的に、特に最新の正則化手法と組み合わせた場合、より深いモデルにおいても、教師なしおよび教師ありの設定の両方で優れた性能を発揮する。

ABSTRACT

Traditionally, when generative models of data are developed via deep architectures, greedy layer-wise pre-training is employed. In a well-trained model, the lower layer of the architecture models the data distribution conditional upon the hidden variables, while the higher layers model the hidden distribution prior. But due to the greedy scheme of the layerwise training technique, the parameters of lower layers are fixed when training higher layers. This makes it extremely challenging for the model to learn the hidden distribution prior, which in turn leads to a suboptimal model for the data distribution. We therefore investigate joint training of deep autoencoders, where the architecture is viewed as one stack of two or more single-layer autoencoders. A single global reconstruction objective is jointly optimized, such that the objective for the single autoencoders at each layer acts as a local, layer-level regularizer. We empirically evaluate the performance of this joint training scheme and observe that it not only learns a better data model, but also learns better higher layer representations, which highlights its potential for unsupervised feature learning. In addition, we find that the usage of regularizations in the joint training scheme is crucial in achieving good performance. In the supervised setting, joint training also shows superior performance when training deeper models. The joint training framework can thus provide a platform for investigating more efficient usage of different types of regularizers, especially in light of the growing volumes of available unlabeled data.

研究の動機と目的

• 深層オートエンコーダーにおけるグリーディ層別事前学習の限界、特に下層のパラメータが固定された状態で上層が元のデータ分布を失う問題を解決すること。
• すべての層をグローバル再構成目的関数を用いて同時に最適化する共同訓練が、より良いデータモデリングと表現学習をもたらすかどうかを調査すること。
• 正則化の影響、特に従来の層別手法と比較しての影響を評価すること。
• 共同事前学習が、とくにより深いネットワークにおいて、教師あり微調整の段階で利点をもたらすかどうかを評価すること。
• 共同訓練を、さまざまな正則化手法を効果的に活用できる、一般化可能なフレームワークとして確立すること。

提案手法

• 深層オートエンコーダー全体に対して1つのグローバル再構成目的関数を定式化し、グリーディな層別最適化に代えてエンド・ツー・エンド訓練を可能にする。
• 各隠れ層に局所的な正則化項を導入し、層固有の正則化の利点を保ちつつ、共同最適化を可能にする制約として機能させる。
• 深層オートエンコーダーを、各層が単一のオートエンコーダーであるスタックとみなす。各層の再構成損失がグローバル目的関数に寄与する。
• 重みが共有され、非線形関数を含む標準的なオートエンコーダー構造を採用し、確率的勾配降下法を用いてバックプロパゲーションで訓練する。
• ドレイン、ドロップアウト、L2重み減衰などの最新の正則化手法を、共同訓練フレームワーク内に適用し、一般化性能の向上を図る。
• 共同訓練と層別訓練の両方に対して、同じ訓練プロトコルを適用することで、データセットやモデルの深さにかかわらず、公平な比較を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層オートエンコーダーの共同訓練は、グリーディ層別事前学習に比べ、より良いデータ再構成と表現学習を実現するか？
• RQ2 最新の正則化手法を組み込むことで、深層オートエンコーダーにおける共同訓練の性能にどのような影響が生じるか？
• RQ3 共同事前学習は、とくにより深いモデルにおいて、教師あり微調整の段階で利点をもたらすか？
• RQ4 層別学習と比較して、共同訓練は、サンプルの質や多様性を維持または向上させられるか？
• RQ5 グローバル再構成目的関数は、各層における元のデータ分布に関する情報をより効果的に保持できるか？

主な発見

• 共同訓練は、グリーディ層別事前学習に比べ、特にMNIST-bg-random や MNIST-bg-rot-image のような複雑なデータ分布において、教師なし表現学習で一貫して優れた性能を示す。
• MNIST データセットにおいて、正則化を適用した共同訓練（UJ）は、18.00 ± 0.34 のテスト誤差を達成した。一方、層別学習では18.60 ± 0.34 であり、一般化性能の向上が明確に示された。
• 3層のより深いモデルでは、共同訓練が教師あり微調整において、層別学習に比べ顕著な性能優位性を示し、より深いアーキテクチャにおいて有益であることが示された。
• 適切な正則化を組み合わせた共同訓練フレームワークは、質的比較でよりシャープで多様性のある生成サンプルを生み出し、一般化性能の向上と記憶の抑制を示している。
• 共同訓練の成功は、高度な正則化の使用に強く依存しており、それらを用いないと性能が著しく低下する。これは、正則化が極めて重要な役割を果たしていることを示している。
• 教師あり微調整後でさえ、共同事前学習で初期化されたモデルは、より深いネットワークにおいて優れた性能を維持しており、これは共同事前学習が、下流タスクのためのより良い初期化を提供していることを示唆している。