[論文レビュー] Online Semi-Supervised Learning with Deep Hybrid Boltzmann Machines and Denoising Autoencoders

Alexander G. Ororbia, C. Lee Giles+1 more|arXiv (Cornell University)|Nov 22, 2015

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 27

ひとこと要約

本稿では、すべての層で判別的および生成的目的を同時に最適化することで、グリーディな事前学習に起因する「表現のシフト」問題を回避する2つの新しい深層ハイブリッドアーキテクチャ—Deep Hybrid Boltzmann Machines (3-DHBM) および Deep Hybrid Denoising Autoencoders (3-DHDA)—を提案する。3-DHBMはMNISTで15.80% ± 0.9のテスト誤差を達成し、ベースラインモデルを上回り、半教師あり学習における最先端の結果に近づいた。

ABSTRACT

Two novel deep hybrid architectures, the Deep Hybrid Boltzmann Machine and the Deep Hybrid Denoising Auto-encoder, are proposed for handling semi-supervised learning problems. The models combine experts that model relevant distributions at different levels of abstraction to improve overall predictive performance on discriminative tasks. Theoretical motivations and algorithms for joint learning for each are presented. We apply the new models to the domain of data-streams in work towards life-long learning. The proposed architectures show improved performance compared to a pseudo-labeled, drop-out rectifier network.

研究の動機と目的

• グリーディな層ごとの事前学習が、表現のシフトを引き起こす可能性があるため、深層生成モデルにおけるその限界を是正すること。
• すべての層でパラメータを同時に最適化する統合的学習フレームワークを構築し、抽象化レベル間のグローバルな調整を可能にすること。
• 原理的ハイブリッドモデリングを通じて、ラベルありおよびラベルなしデータを活用することで、オンラインでデータストリームが入ってくる状況における半教師あり学習の性能を向上させること。
• 従来のハイブリッドモデルが採用する垂直的アグリゲーションの非最適性を克服し、各層で判別的および生成的学習を統合する統合アーキテクチャを導入すること。

提案手法

• すべての層が結合分布 p(y, h_l) をモデル化でき、生成的および判別的パラメータの両方を同時に学習可能な、制限ボルツマンマシンのスタックである Deep Hybrid Boltzmann Machine (3-DHBM) を提案する。
• すべての層で再構成と分類の目的を同時に学習する、ドレインニング正則化を用いた深層オートエンコーダーの変種である Deep Hybrid Denoising Autoencoder (3-DHDA) を導入する。
• 判別的および生成的勾配を同時に計算・逆伝播することで、層ごとの事前学習を回避し、表現のシフトを低減する統一された学習アルゴリズムを採用する。
• 再構成損失（生成的モデリング用）と分類損失（判別的性能用）の両方をバランスさせる統合的目的関数を用い、ハイパーパrameter λ と β がトレードオフを制御する。
• オンラインでストリーミングデータを処理するために、パラメータを段階的に更新する。学習プロセスを人間の乳児学習を模倣した、生涯にわたる段階的学習タスクとしてモデル化する。
• 収束性および予測精度の向上を図るため、Top-Down-Bottom-Upアルゴリズムに類似した重み付き判別的勾配更新を採用する。

実験結果

リサーチクエスチョン

• RQ1 すべての層で生成的および判別的目的を同時に最適化することで、グリーディな層ごとの事前学習に比べ、半教師あり学習性能が向上するか？
• RQ2 独立したエキスパートの垂直的アグリゲーションを避ける統合的ハイブリッドアーキテクチャは、別々の層ごとのエキスパートを組み合わせたモデルを上回る性能を示すか？
• RQ3 ジョイント学習で訓練された深層ハイブリッドモデルは、ラベルが乏しく、入力分布が変化する可能性があるオンラインのデータストリーム環境でも、安定した性能を維持できるか？
• RQ4 提案されたハイブリッドモデルの性能は、MNIST や 20 Newsgroups といった標準ベンチマークで、最先端の半教師あり手法と比べてどうか？

主な発見

• 3-DHBMは、ラベル付き例がたった100例の状況でMNISTで15.80% ± 0.9のテスト誤差を達成し、DROPNN+PL (16.15%) や EMBEDNN (16.86%) といった強力なベースラインを上回った。
• 3-DHDAモデルは20 Newsgroupsデータセットで39.45% ± 0.1のテスト誤差を記録し、DROPNN+PL (44.39%) や 3-DHBM (44.67%) を顕著に上回った。
• 3-DHBMは最先端のDROPNN+PL+DAE (10.49%誤差) を上回らなかったが、この手法は事前学習を用いているため、提案されたハイブリッドフレームワークに事前学習を組み合わせることでさらなる向上が期待できる。
• 3-DHDAモデルはMNISTでは21.24% ± 0.6の性能にとどまり、著者らはハイパーパrameter λ, β およびノイズ確率への高い感受性が原因であると説明しており、より良いハイパーパramターチューニングの必要性を示唆している。
• 統合的ハイブリッド学習フレームワークはDHBMおよびDHDAに限らず、すべての層で生成的および判別的勾配を計算可能なマルチレベルニューラルアーキテクチャに一般化可能である。