[論文レビュー] Knowledge Matters: Importance of Prior Information for Optimization

Çaǧlar Gülçehre, Yoshua Bengio|arXiv (Cornell University)|Jan 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 40被引用数 104

ひとこと要約

この論文は、特定のディープラーニングタスクがブラックボックスアルゴリズムや標準的なニューラルネットワークで失敗する理由を調査し、画像内のオブジェクトの存在といった中間的概念への事前知識を導入することで最適化が成功することを示している。ガイド付きのヒントを用いた二段階のMLPを用いることで、同一スプライト検出を含む構成的に難しいタスクでほぼ完璧な性能を達成した。一方、ランダム初期化や教師なし事前学習では失敗し、劣悪な条件の問題や悪い局所的最適解に起因する最適化の困難さが浮き彫りになった。

ABSTRACT

We explore the effect of introducing prior information into the intermediate level of neural networks for a learning task on which all the state-of-the-art machine learning algorithms tested failed to learn. We motivate our work from the hypothesis that humans learn such intermediate concepts from other individuals via a form of supervision or guidance using a curriculum. The experiments we have conducted provide positive evidence in favor of this hypothesis. In our experiments, a two-tiered MLP architecture is trained on a dataset with 64x64 binary inputs images, each image with three sprites. The final task is to decide whether all the sprites are the same or one of them is different. Sprites are pentomino tetris shapes and they are placed in an image with different locations using scaling and rotation transformations. The first part of the two-tiered MLP is pre-trained with intermediate-level targets being the presence of sprites at each location, while the second part takes the output of the first part as input and predicts the final task's target binary event. The two-tiered MLP architecture, with a few tens of thousand examples, was able to learn the task perfectly, whereas all other algorithms (include unsupervised pre-training, but also traditional algorithms like SVMs, decision trees and boosting) all perform no better than chance. We hypothesize that the optimization difficulty involved when the intermediate pre-training is not performed is due to the {\em composition} of two highly non-linear tasks. Our findings are also consistent with hypotheses on cultural learning inspired by the observations of optimization problems with deep learning, presumably because of effective local minima.

研究の動機と目的

• 標準的なアルゴリズムでは解けないディープラーニングタスクにおける最適化失敗を、中間的概念に関する事前情報が克服できるかどうかを調査すること。
• 合成的・非線形的なタスクでディープネットワークが失敗するのは、正則化の問題ではなく最適化の障壁に起因するのかどうかを検討すること。
• アーキテクチャの制約や学習手順が、有効な局所的最適解への収束を可能にする役割を果たすかどうかを評価すること。
• 人間の文化的学習に類似したアプローチ（他のエージェントからのガイド）が、人工ニューラルネットワークにおける最適化の困難さを軽減できるかどうかを検証すること。
• 中間的監視を伴うカリキュラム学習が、限られたデータでも解けないタスクを解けるものに変えることができるかどうかを調査すること。

提案手法

• 二段階のMLPアーキテクチャを用い、最初の隠れ層は方向やスケールに依存しない個々のスプライトクラス（存在と位置）を検出するように事前学習する。
• ネットワークの2番目の部分は、最初の層の出力をヒントとして用い、画像内の3つのスプライトがすべて同じ形状かどうかを予測する2値分類タスクを実行する。
• 最適化ダイナミクスの向上と悪条件の低減を目的に、中間層の活性化を標準化する。
• 標準MLP、ランダム初期化、ヒントあり・なしのSMLP、アーキテクチャ的制約や代替学習手順を適用したバージョンを比較する実験を実施。
• 学習手順にはオンラインSGDを用い、64×64の画像に3つのペントミノスプライトを含む大規模な合成データセットを用いて一般化性能を評価する。
• 中間的概念における教師なし事前学習を試みたが、タスクを解くのに失敗した。これは、この構成的に難しい問題に対して、教師なし特徴学習が不十分であることを示している。

実験結果

リサーチクエスチョン

• RQ1 オブジェクトの存在といった中間的概念の監視を導入することで、ディープニューラルネットワークが困難な最適化問題を解けるように変容することができるか？
• RQ2 このタスクで標準的なディープネットワークが失敗するのは、過学習や正則化の問題ではなく、最適化の困難さ（悪条件や効果のない局所的最適解）に起因するのか？
• RQ3 十分な容量があるにもかかわらず、アーキテクチャや学習手順が、良い一般化解に到達する能力に顕著に影響を与えるのか？
• RQ4 中間特徴における教師なし事前学習は、このタスクを解けるのか、それともタスクの性質上、失敗するのか？
• RQ5 他のエージェントからのヒント（事前知識）が、エンドツーエンド学習では到達できない高レベルの抽象的特徴を学習可能にする程度はどの程度か？

主な発見

• スプライトの存在と位置に関する中間的監視を施した二段階MLPは、ブラックボックスアルゴリズムや標準的なディープネットワークが失敗したタスクをほぼ完璧なテスト性能で解消した。
• 同じアーキテクチャをヒントなしでランダム初期化から学習させた場合、テスト精度は27.5%にとどまり、深刻な最適化の困難さが原因であることが示された。
• 中間層の活性化の標準化は、学習ダイナミクスを著しく改善し、悪い有効な局所的最適解からの脱出を助けた。
• 中間特徴における教師なし事前学習はタスクを解けず、教師なし特徴学習がこの構成的に複雑な問題に対しては不十分であることが示唆された。
• 105万件の訓練例でさえ、ヒントなしの標準MLPは最適に近づかないままであり、大規模なデータでも最適化の障壁が継続することを示した。
• 結果は、タスクの困難さが2つの極めて非線形なサブタスクの合成に起因し、構造的・インダクティブバイアスがなければ、悪条件や収束不良に陥りやすいという仮説を支持している。