[論文レビュー] Neural Simpletrons - Minimalistic Directed Generative Networks for Learning with Few Labels

Dennis Forster, Abdul-Saboor Sheikh+1 more|arXiv (Cornell University)|Jun 28, 2015

Music and Audio Processing参考文献 49被引用数 7

ひとこと要約

この論文では、ラベルが非常に少ない半教師あり学習のためのエンドツーエンド尤度最適化を可能にする、正規化されたポisson混合を用いた最小限の深層指向生成ネットワーク「Neural Simpletrons」を紹介する。MNISTおよびNISTベンチマークで、4〜5つの調整可能なハイパーパrameterのみを用いて最先端の性能を達成しており、従来の複雑なハイブリッドモデルですら、ラベルが極めて少ない状況（従来のシステムが正常に動作しなかった分野）においても優れた性能を示している。

ABSTRACT

Classifiers for the semi-supervised setting often combine strong supervised models with additional learning objectives to make use of unlabeled data. This results in powerful though very complex models that are hard to train and that demand additional labels for optimal parameter tuning, which are often not given when labeled data is very sparse. We here study a minimalistic multi-layer generative neural network for semi-supervised learning in a form and setting as similar to standard discriminative networks as possible. Based on normalized Poisson mixtures, we derive compact and local learning and neural activation rules. Learning and inference in the network can be scaled using standard deep learning tools for parallelized GPU implementation. With the single objective of likelihood optimization, both labeled and unlabeled data are naturally incorporated into learning. Empirical evaluations on standard benchmarks show, that for datasets with few labels the derived minimalistic network improves on all classical deep learning approaches and is competitive with their recent variants without the need of additional labels for parameter tuning. Furthermore, we find that the studied network is the best performing monolithic (`non-hybrid') system for few labels, and that it can be applied in the limit of very few labels, where no other system has been reported to operate so far.

研究の動機と目的

• ラベルデータが極めて限られている現実世界の応用において、深層ニューラルネットワークを訓練する課題に対処すること。
• 既存の半教師ありアプローチで一般的な複雑なハイパーパrameterを調整するための追加ラベルを必要としない、一本化された非ハイブリッド生成モデルを開発すること。
• 標準的なディープラーニングツールを用いて、最大20,000ユニットの隠れ層を含む大規模データセットに対しても、スケーラブルで並列化されたトレーニングを可能にすること。
• VLSIなどのバイオインスパイアドハードウェアと互換性がある、コンactかつ局所的な学習および推論ルールを備えたモデルを設計すること。
• 従来の手法が失敗するか評価がなされないような、極めてラベルが少ない状況においても、頑健な性能を示すことを実証すること。

提案手法

• クラス条件付きデータ分布を深く、方向性のあるグラフィカル構造でモデル化するため、正規化されたポアソン混合に基づく階層的混合モデルを提案する。
• 誤差逆伝播とは数学的に同等であるが、生成モデルにおける尤度最大化から導出された、コンactかつ局所的な学習および活性化ルールを導出する。
• 補助損失関数やハイブリッドトレーニング方式を一切用いずに、ラベルありおよびラベルなしデータを同時に学習するための単一の目的関数（尤度最適化）を用いる。
• GPUアクセcelレートされ、並列化されたトレーニングと推論を可能にするために、標準的なディープラーニングフレームワークを用いてネットワークを実装する。
• 中間層ユニット数（C）、入力正規化（A）、重み（ε[W]）およびバイアス（ε[R]）の学習率、および一部のバリアントでスパarsityを制御するBvSB閾値（ϑ）を含む、最小限のハイパーパrameterセットを導入する。
• MNISTおよびNISTデータセットを用いて画像分類タスクにモデルを適用し、さまざまなラベル予算における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 最小限のハイパーパrameterを用いた一本化された生成ニューラルネットワークは、わずか数個のラベル例での半教師あり学習においても最先端の性能を達成できるか？
• RQ2 単一の目的関数に基づく尤度最適化フレームワークは、教師ありと教師なしの目的をハイブリッドに組み合わせた複雑なモデルを上回れるか？
• RQ3 ラベルデータが限られている状況でも、最小限のハイパーパramータチューニングで効果的に学習できるか？
• RQ4 極めてラベルが少ない状況における、完全に生成的で非ハイブリッドな深層ネットワークの性能限界は何か？
• RQ5 標準的なディープラーニングツールを用いて、大規模なアーキテクチャ（例：20,000ユニットの隠れ層）および大規模データセット（例：400,000サンプル）に対してもスケーリング可能か？

主な発見

• ラベルが10例しかない状況で、Neural SimpletronsはMNISTおよびNISTデータセットにおいて、すべての古典的ディープラーニングモデルを上回り、平均テスト誤差9.84％を達成した。
• 完全なMNISTデータセット（60,000ラベル）を用いた場合、テスト誤差は4.52％にまで低下し、わずか4〜5つのハイパーパrameterを用いても、最先端の手法と同等の性能を示した。
• 極めてラベルが少ない状況でも効果的であった：NISTの数字分類タスクで52ラベルのみを用いた場合、テスト誤差は55.70％にまで低下し、その分野で他のすべての手法を上回った。
• NISTの文字分類タスクでは、387,361ラベルを用いてテスト誤差31.93％を達成し、VAT や Ladder といった複雑なモデルを含むすべてのベースラインを上回った。
• 100ラベル未満のラベルが与えられるような極めてラベルが少ない状況において、Neural Simpletronsは、他のすべてのモデルよりも優れた性能を示した。この分野では、100ラベル未満で正常に動作する前例のないシステムが存在しなかった。
• 本手法はわずか4〜5つの調整可能なハイパーパrameterで十分であり、他の競合モデル（例：Ladderでは18、VATでは≥12）に比べてはるかに少ないため、極めて少ないラベルデータでも効果的なチューニングが可能となった。