[論文レビュー] End-to-End Learning for Structured Prediction Energy Networks

David Belanger, Bishan Yang+1 more|arXiv (Cornell University)|Mar 16, 2017

Generative Adversarial Networks and Image Synthesis参考文献 53被引用数 31

ひとこと要約

この論文は、勾配ベースの最適化を通じてバックプロパゲーションで訓練される深層ニューラルネットワークとしてのエネルギー関数を用いた、構造予測エネルギーネットワーク（SPENs）のエンドツーエンド学習を導入する。この手法は、7-Scenes画像ノイズ除去（40.4 PSNR）およびCoNLL-2005 SRL（WSJテストで80.7 F1）の両タスクで最先端の性能を達成し、正確でない最小化を許容する非凸で表現力のあるエネルギー関数を可能にすることで、構造的SVMベースラインを上回った。

ABSTRACT

Structured Prediction Energy Networks (SPENs) are a simple, yet expressive family of structured prediction models (Belanger and McCallum, 2016). An energy function over candidate structured outputs is given by a deep network, and predictions are formed by gradient-based optimization. This paper presents end-to-end learning for SPENs, where the energy function is discriminatively trained by back-propagating through gradient-based prediction. In our experience, the approach is substantially more accurate than the structured SVM method of Belanger and McCallum (2016), as it allows us to use more sophisticated non-convex energies. We provide a collection of techniques for improving the speed, accuracy, and memory requirements of end-to-end SPENs, and demonstrate the power of our method on 7-Scenes image denoising and CoNLL-2005 semantic role labeling tasks. In both, inexact minimization of non-convex SPEN energies is superior to baseline methods that use simplistic energy functions that can be minimized exactly.

研究の動機と目的

• 構造的SVMの学習における制限を克服すること。具体的には、正確な最小化が困難であり、マージン違反が生じる問題に起因する。
• 勾配ベースのエネルギー最小化をアンロールし、バックプロパゲーションすることで、SPENsの判別的・エンドツーエンド学習を可能にすること。
• エンドツーエンドSPENsにおける速度、精度、メモリ効率を向上させる実用的手法を開発すること。
• 非局所制約や高アリティ相互作用を伴う複雑な構造予測タスクにおける手法の有効性を示すこと。

提案手法

• エネルギー関数は、出力変数yに関して微分可能である深層ニューラルネットワークとして定義され、勾配ベース最適化が可能になる。
• 予測は、yに関するアンロール勾配降下法で実行され、全計算グラフが微分可能となり、エンドツーエンドのバックプロパゲーションが可能になる。
• SoftPlus関数を用いたソフト制約定式化により、非局所出力制約（例：重複しない引数）が微分可能なペナルティとして強制される。
• 凸緩和における消失勾配を軽減する技術、収束を加速する技術、トレーニング中のメモリオーバーヘッドを削減する技術が導入される。
• パラメータのタイイング、事前学習、各イテレーションで異なる学習率を用いた反復的最適化が可能となり、汎化性能と効率性が向上する。
• エネルギー関数と予測手順の共同最適化が可能になり、手作業で設計された推論アルゴリズムの必要性がなくなる。

実験結果

リサーチクエスチョン

• RQ1 勾配ベース推論をバックプロパゲーションで通してエンドツーエンド学習を行うSPENsは、複雑な出力構造を伴う構造予測タスクの性能向上に寄与するか？
• RQ2 エンドツーエンド学習中に、離散的構造予測の凸緩和における消失勾配をどのように軽減できるか？
• RQ3 エンドツーエンドで訓練された非凸で表現力のあるエネルギー関数は、実世界のタスクにおいて、単純で正確に最小化可能なエネルギー関数を上回る性能を発揮できるか？
• RQ4 微分可能制約強制メカニズムは、微分可能性を維持しつつ、予測精度をどの程度向上させることができるか？
• RQ5 性能を損なわずに、エンドツーエンドSPENsにおけるメモリおよび計算オーバーヘッドをどのように低減できるか？

主な発見

• 7-Scenes画像ノイズ除去タスクにおいて、SPENモデルは36.3 PSNRを記録した先行研究よりも顕著に優れた40.4 PSNRを達成した。
• CoNLL-2005 SRLでは、SPEN + AD3設定がWSJテストセットで80.7 F1を達成し、強力な局所的および構造的ベースラインを上回った。
• 微分可能制約強制を用いたSPENsは、AD3およびヒューリスティック手法と同等の性能を示し、最適化中に制約が効果的に強制されていることを示した。
• 凸性正則化を用いた場合、WSJテストセットで80.3 F1を達成し、ロバストネスと汎化性能の高さを示した。
• エンドツーエンドバックプロパゲーションで訓練されたSPENsは、正確な最小化が困難な状況においても、構造的SVMベースラインを上回った。
• 本手法により、画像ノイズ除去や意味的役割ラベリングを含む多様なタスクにおいて、タスク固有の推論アルゴリズムを必要としない、統一されたトレーニングおよび推論パイプラインが実現された。