[論文レビュー] Interpretable Structure-Evolving LSTM

Xiaodan Liang, Liang Lin+4 more|arXiv (Cornell University)|Mar 8, 2017

Explainable Artificial Intelligence (XAI)被引用数 14

ひとこと要約

本稿では、学習中にデータから階層的グラフ構造を動的に学習する構造進化型LSTMを提案する。これにより、解釈可能で多層的な表現が得られ、長距離依存関係のモデリングが向上する。LSTMゲート出力に基づいてノードを確率的に統合し、メトロポリス・ハスティングス法を用いて構造の受容を制御することで、固定構造LSTMを上回る性能を達成。意味的オブジェクトパーサンスベンチマークにおいて、より高いロバストネスと意味的抽象化を実現した最先端の結果を達成した。

ABSTRACT

This paper develops a general framework for learning interpretable data representation via Long Short-Term Memory (LSTM) recurrent neural networks over hierarchal graph structures. Instead of learning LSTM models over the pre-fixed structures, we propose to further learn the intermediate interpretable multi-level graph structures in a progressive and stochastic way from data during the LSTM network optimization. We thus call this model the structure-evolving LSTM. In particular, starting with an initial element-level graph representation where each node is a small data element, the structure-evolving LSTM gradually evolves the multi-level graph representations by stochastically merging the graph nodes with high compatibilities along the stacked LSTM layers. In each LSTM layer, we estimate the compatibility of two connected nodes from their corresponding LSTM gate outputs, which is used to generate a merging probability. The candidate graph structures are accordingly generated where the nodes are grouped into cliques with their merging probabilities. We then produce the new graph structure with a Metropolis-Hasting algorithm, which alleviates the risk of getting stuck in local optimums by stochastic sampling with an acceptance probability. Once a graph structure is accepted, a higher-level graph is then constructed by taking the partitioned cliques as its nodes. During the evolving process, representation becomes more abstracted in higher-levels where redundant information is filtered out, allowing more efficient propagation of long-range data dependencies. We evaluate the effectiveness of structure-evolving LSTM in the application of semantic object parsing and demonstrate its advantage over state-of-the-art LSTM models on standard benchmarks.

研究の動機と目的

• 固定構造LSTMが複雑で多層的なデータ相関をモデリングする点で制限を受ける問題に対処すること。
• 階層的グラフ構造とLSTMパラメータをエンドツーエンドで同時に学習するフレームワークを開発すること。
• 意味的抽象化を複数のレベルにわたって捉える、解釈可能でデータ駆動のグラフ構造進化を可能にすること。
• 受容確率を用いた確率的サンプリングにより、グラフ構造学習における局所最適解のリスクを軽減すること。
• 適応的でマルチスケールのグラフトポロジーを活用することで、意味的オブジェクトパーサンスのパフォーマンスを向上させること。

提案手法

• 各ノードがデータ要素（例：スーパーピクセル）を表す初期グラフを構築し、エッジで接続する。
• LSTMゲート出力を利用して、接続されたノード間の適合度を推定し、統合確率を決定する。
• グローバル受容確率に基づいて、メトロポリス・ハスティングス法を用いて新しいグラフ構造を確率的にサンプリング・受容する。
• 統合されたノードをクリークにグループ化することで、高レベルのグラフを構築し、階層的抽象化を可能にする。
• スタックされたLSTM層を横断して、ボトムアップかつ段階的にグラフ構造を進化させる。
• 構造進化とパrameter学習をエンドツーエンドの訓練スキームで統合し、グラフトポロジーとLSTM重みの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再帰的ニューラルネットワークは、学習中にその下位グラフ構造を動的に進化させることで、多層的データ相関をよりよく捉えることができるか？
• RQ2 LSTMフレームワーク内でのグラフ構造進化を、解釈可能かつ微分可能にする方法は何か？
• RQ3 受容確率を用いた確率的構造進化は、決定的統合と比較して一般化性能を向上させ、局所最適解を回避するか？
• RQ4 適応的かつ学習されたグラフトポロジーは、固定または事前に定義されたグラフ構造と比較して、意味的オブジェクトパーサンスのパフォーマンスをどの程度向上させるか？
• RQ5 構造進化型LSTMから得られる多層グラフ表現は、順序的および空間的データにおける長距離依存関係のモデリングをどの程度向上させるか？

主な発見

• 構造進化型LSTMはATRデータセットで98.30%の平均IoUを達成し、Graph LSTM（97.99%）や他の最先端モデルを上回った。
• メトロポリス・ハスティングスサンプリングを用いた確率的ポリシーは、しきい値0.7の決定的統合（低精度であるがロバスト）よりも優れた性能を示した。
• モデルは安定した構造進化を示し、10回のフォワードパスにおいて性能差が0.5%未満に留まった。
• LSTM層を増やすことで性能が向上し、2層を超えても向上が見られた。これは、多層的抽象化がパーサンス精度を向上させることを示している。
• 可視化結果から、生成されたグラフ構造からのマルチスケールのコンテキストを活用することで、曖昧なラベル（例：スカート対ドレス）の予測がより正確になった。
• 学習されたグラフ構造は、事前に定義されたスーパーピクセルマップよりも意味的に整合性が高かった。これは、固定の下流分割に比べて、適応的トポロジー学習の利点を示している。