[論文レビュー] Structured Prediction Energy Networks

David Belanger, Andrew McCallum|arXiv (Cornell University)|Nov 19, 2015

Machine Learning in Materials Science参考文献 46被引用数 15

ひとこと要約

この論文では、多ラベル分類などの構造的出力における複雑な依存関係をモデル化するために微分可能エネルギー関数を用いる深層学習フレームワーク、構造的予測エネルギーネットワーク（SPENs）を紹介する。勾配降下法を用いてエネルギーを最適化することで、構造的学習を自動で行うエンド・ツー・エンドの学習が可能となり、制限の強い構造的仮定を最小限に抑えつつ、解釈可能で高次の相互作用モデリングが可能である。ベンチマーク多ラベルデータセットにおいて最先端の性能を達成した。

ABSTRACT

We introduce structured prediction energy networks (SPENs), a flexible framework for structured prediction. A deep architecture is used to define an energy function of candidate labels, and then predictions are produced by using back-propagation to iteratively optimize the energy with respect to the labels. This deep architecture captures dependencies between labels that would lead to intractable graphical models, and performs structure learning by automatically learning discriminative features of the structured output. One natural application of our technique is multi-label classification, which traditionally has required strict prior assumptions about the interactions between labels to ensure tractable learning and prediction. We are able to apply SPENs to multi-label problems with substantially larger label sets than previous applications of structured prediction, while modeling high-order interactions using minimal structural assumptions. Overall, deep learning provides remarkable tools for learning features of the inputs to a prediction problem, and this work extends these techniques to learning features of structured outputs. Our experiments provide impressive performance on a variety of benchmark multi-label classification tasks, demonstrate that our technique can be used to provide interpretable structure learning, and illuminate fundamental trade-offs between feed-forward and iterative structured prediction.

研究の動機と目的

• 固定されたグラフィカルモデル構造と強いインダクティブバイアスに依存する従来の構造的予測モデルの限界を克服すること。
• 深層アーキテクチャを用いて、入力xと構造的出力yの両方の表現を同時に学習すること。
• エンド・ツー・エンドのバックプロパゲーションを通じて、構造的出力の判別的特徴を学習することにより、自動的な構造的学習を可能にすること。
• 制限の強い仮定を設けずに、高アリティの相互作用をサポートする柔軟で微分可能な構造的予測フレームワークを提供すること。
• エネルギー関数の勾配ベース最適化が、競争力のある性能を達成するとともに、解釈可能なモデル行動を可能にすることを示すこと。

提案手法

• 深層ニューラルネットワークが、入力xと構造的出力yに依存するエネルギー関数E_x(y)を定義する。
• 予測は、yを推論中に学習可能な変数とみなして、勾配降下法を繰り返し用いてE_x(y)を最小化することで得られる。
• エネルギー関数は構造的SVMとヒンジ損失を用いて学習され、特徴ネットワークと最適化ループの両方をエンド・ツー・エンドでバックプロパゲーション可能になる。
• 出力変数間の高次の相互作用をモデル化するために、学習可能なパラメータを有するグローバルエネルギーネットワークが使用される。
• バッチ処理とGPUアクセcelerationを用いた推論手順が採用され、目的関数と反復値の相対的・絶対的変化をモニタリングして収束を確認する。
• 予測速度の向上のため、90%の例が収束した段階で最適化を早期に終了することで、「最後のリダクサーの呪い」を軽減する。

実験結果

リサーチクエスチョン

• RQ1 深層アーキテクチャを用いて、微分可能かつエンド・ツー・エンドの方法で、入力xと構造的出力yの両方の表現を同時に学習できるか？
• RQ2 学習されたエネルギー関数に対する反復的勾配最適化は、固定構造モデルよりも構造的予測タスクで優れた性能を発揮するか？
• RQ3 強い事前仮定を設けずに、SPENsがどの程度出力変数間の高次の相互作用を発見できるか？
• RQ4 精度と推論速度の観点から、SPENsの性能はフィードフォワードベースラインと比べてどの程度優れているか？
• RQ5 推論中に早期停止を適用しても、高い精度を維持しつつ予測時間を著しく短縮できるか？

主な発見

• SPENsは、ラベル相互作用に制限の強い仮定を設けず、Bibtexを含む複数のベンチマーク多ラベル分類データセットで最先端の性能を達成した。
• モデルはラベル間の高アリティ依存関係を効果的に学習し、大規模なラベル集合でも正確な予測を可能にした。
• テスト予測の約8%が真のラベルのエネルギー値を上回る結果となったが、最適化にもかかわらず非自明な探索誤差率を示した。
• 90%の例が収束した段階で最適化を停止することで、予測推論速度が3倍に向上し、精度の低下は最小限に抑えられた。
• 事前学習済みのMLPの出力を初期値として使用することで、収束までの反復回数が約5回分早く達成され、さらに効率が向上した。
• 「最後のリダクサーの呪い」が解消された場合、1例あたりの平均予測時間は1.2秒から0.8秒に短縮された。