[論文レビュー] Representation Learning: A Review and New Perspectives

Yoshua Bengio, Aaron Courville+1 more|arXiv (Cornell University)|Jun 24, 2012

Domain Adaptation and Few-Shot Learning参考文献 214被引用数 111

ひとこと要約

この論文は、人工知能の発展におけるコアな柱としての表現学習をレビューし、データ内の変動要因を分離する非教師ありおよびディープラーニング手法の推進を提唱している。より良い表現学習—特に深層アーキテクチャ、確率的モデル、オートエンコーダーを用いたもの—により、手動による特徴工学の依存度を低下させ、より汎用的でスケーラブルなAIシステムを実現できると提言する。

ABSTRACT

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

研究の動機と目的

• 下流の予測タスクにおける有用なデータ表現を自動で学習するアルゴリズムを開発することで、手動による特徴工学の依存度を低減すること。
• 一般知能への道筋を示すために、分離可能で階層的かつスパースな変動要因といった一般的な事前知識（priors）を特定・形式化すること。
• 表現学習における目的関数、推論メカニズム、最適化の根本的未解決問題に取り組むこと。
• 幾何学的および確率的フレームワークを通じて、表現学習、密度推定、多様体学習の視点を統合すること。

提案手法

• 非教師あり特徴学習のための深層学習、オートエンコーダー、ボルツマンマシン、変分推論の進展を調査する。
• 複数の非線形変換を有する深層アーキテクチャが、データ要因の階層的抽象化を可能にすると提唱する。
• 明示的な列挙なしに、複雑で多次元の分布を効果的に表現する「暗黙の事後分布表現」の概念を導入する。
• 近似推論ネットワークを主モデルと同時に学習させる、エンドツーエンドの推論手順の学習を提唱する。
• モデルパラメータ、推論、表現目的の共同最適化として表現学習を定式化する。
• 深層ニューラルネットワークが、潜在要因の複雑な事後分布を暗黙的に表現するパrametric関数としての役割を強調する。

実験結果

リサーチクエスチョン

• RQ1 どのようなデータ表現が、下流の予測タスクにおいてより有用であるのか？
• RQ2 意味のある構造を捉えるために、与えられた入力に対してどのように表現（すなわち推論）を計算すべきか？
• RQ3 潜在的説明的要因の変動を分離するのに最適な表現学習の目的関数は何か？
• RQ4 事後分布が極めて多次元的で計算的に扱いにくくても、どのように潜在要因の事後分布をモデル化できるか？
• RQ5 最適化ダイナミクスと正則化は、大規模データ上で学習する際の深層アーキテクチャにどのような役割を果たすか？

主な発見

• 特にディープオートエンコーダーと畳み込みネットワークを用いた深層学習手法は、MNISTで最先端の性能を達成し、誤差率を0.27%まで低下させた。
• 音声認識分野では、深層学習が主要ベンチマークで単語誤り率を最大30%まで低下させ、従来のガウス混合モデルを著しく上回った。
• 表現学習のおかげで、音楽情報検索分野に画期的な進展がもたらされ、多音楽的譜面記録タスクで相対誤差が5%から30%改善された。
• 本論文は、現在の表現学習手法が、スパarsity、分離可能性、時間的整合性といった構造的事前知識を十分に活用していないと指摘している。
• 多次元事後分布を考慮し、局所最適解を避ける最適化戦略および推論メカニズムの向上が、極めて重要な課題である。
• 明示的な事後分布モデリングの代替として、必要な情報をすべて保持する決定的特徴マップのような複雑な事後分布の暗黙的表現が、スケーラブルな代替手段を提供する可能性を秘めている。