[論文レビュー] Deep Structured Prediction with Nonlinear Output Transformations

Colin Graber, Ofer Meshi+1 more|arXiv (Cornell University)|Nov 1, 2018

Neural Networks and Applications被引用数 10

ひとこと要約

本論文は、構造的推論を深層ニューラルネットワーク内の中間層として埋め込むことで、構造的制約を保ちながら出力構造の非線形変換を可能にする、新しい深層構造的予測フレームワークを提案する。ラグランジュ最適化フレームワークを用いることで、古典的手法との互換性を維持しつつ、OCR、画像タグ付け、マルチラベル分類、意味的セグメンテーションのタスクで最先端の性能を達成する。標準的な構造的モデルやSPENに類似したアプローチを上回る性能を発揮する。

ABSTRACT

Deep structured models are widely used for tasks like semantic segmentation, where explicit correlations between variables provide important prior information which generally helps to reduce the data needs of deep nets. However, current deep structured models are restricted by oftentimes very local neighborhood structure, which cannot be increased for computational complexity reasons, and by the fact that the output configuration, or a representation thereof, cannot be transformed further. Very recent approaches which address those issues include graphical model inference inside deep nets so as to permit subsequent non-linear output space transformations. However, optimization of those formulations is challenging and not well understood. Here, we develop a novel model which generalizes existing approaches, such as structured prediction energy networks, and discuss a formulation which maintains applicability of existing inference techniques.

研究の動機と目的

• 既存の深層構造的モデルが出力変数間の複雑な非線形相互作用を捉えることのできない限界を解消すること。
• 最適化中に構造的制約を保ちながら、深層ネットワーク内での構造的推論を可能にすること。
• 構造的予測エネルギーネットワーク（SPEN）のような既存のアプローチを一般化し、出力表現の暗黙的かつ非線形な変換を可能にすること。
• 動的計画法やLP緩和法などの古典的手法と互換性を持つ最適化フレームワークを開発すること。
• 実世界の視覚およびNLPタスクにおいて、ベースラインと比較して本モデルの優位性を実証すること。

提案手法

• 構造的推論を中間層として実行する深層ネットワークアーキテクチャを導入し、ユニタリーネットからの特徴を構造的出力表現に変換する。
• ジョイント目的関数の最適化にラグランジュ緩和フレームワークを用い、動的計画法や線形プログラミング緩和法といった標準的な推論エンジンの利用を可能にする。
• 上位層の変換ネットワーク $T$ を用いて構造的出力を非線形変換し、高階の依存関係の暗黙的モデリングを可能にする。
• ユニタリーフィーチャー $H(c, w, w)$ と推論により得られる構造的ポテンシャル $y$ を組み合わせたスコア関数を定義し、その後に非線形変換 $T(y, w)$ を適用する。
• ラグランジュ定式化の微分可能性を活用し、推論層を介したバックプロパゲーションによるエンドツーエンド学習を実装する。
• マルチラベル分類には、ラベルごとに二値ノードを持つ完全結合型ペairワイズグラフィカルモデルを、意味的セグメンテーションには畳み込み残差ネットワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークに構造的推論を中間層として統合することで、構造的予測タスクの性能が向上するか？
• RQ2 上位層のネットワーク $T$ を用いて構造的出力を非線形変換可能にすることで、固定または線形変換に比べて一般化性能が向上するか？
• RQ3 提案されたラグランジュに基づく最適化フレームワークは、動的計画法やLP緩和法といった古典的手法と互換性を保っているか？
• RQ4 性能および最適化の安定性の観点から、SPEN や他の構造的深層学習ベースラインと比較して、本モデルはどのように差をつけるか？
• RQ5 潜在関数に明示的にモデル化されていない、データ内のグローバルな構造的パターンを本モデルは捉えることができるか？

主な発見

• MIRFLICKR25k画像タグ付けデータセットでは、NLTopモデルが平均mAP 0.786を達成し、DeepStructベースライン（0.762）およびSPENに類似した推論手法（0.754）を上回った。
• パrameter数1,329,408のNLTopモデルが、パrameter数2,444,544のより大きなDeepStruct++モデルを上回ったことから、性能向上はパrameter数ではなくアーキテクチャ設計に起因することが示された。
• Weizmann Horsesデータセットにおける意味的セグメンテーションでは、NLStructが平均IoU 0.712を達成し、ベースラインのDeepStruct（0.689）を上回り、Oracleモデル（0.741）に近づいた。
• SPENに類似した推論手順（SPENInf）はセグメンテーションではNLStructと同等の性能を示したが、画像タグ付けではNLTopに比べて著しく劣った。これにより、提案された最適化フレームワークの優位性が裏付けられた。
• 固定ポテンシャルを $T$ を用いて再バランスすることで、モデルはより高いロバストネスと表現力を持つようになった。これは、タスク固有の損失関数を暗黙的に学習可能であることを裏付けた。
• NLStructモデルの学習には、画像タグ付けで約9.2時間、セグメンテーションで約10時間かかった。これは、実世界の応用においても実行可能な学習時間であることを示している。