[論文レビュー] Scene Graph Parsing as Dependency Parsing

Yu-Siang Wang, Chenxi Liu+2 more|arXiv (Cornell University)|Mar 25, 2018

Multimodal Machine Learning Applications参考文献 43被引用数 7

ひとこと要約

本稿では、シーングラフをエッジ中心の依存構造に再解釈することで、エンド・ツー・エンドのニューラル依存解析器を提案する。オブジェクト、属性、関係に焦点を当てたラベル空間とアクション空間の再設計により、従来の2段階アプローチを上回る性能を達成し、シーングラフ解析で49.67%のFスコアを達成（SOTA比5%上回る）した。また、画像検索タスクにおいても性能が向上した。

ABSTRACT

In this paper, we study the problem of parsing structured knowledge graphs from textual descriptions. In particular, we consider the scene graph representation that considers objects together with their attributes and relations: this representation has been proved useful across a variety of vision and language applications. We begin by introducing an alternative but equivalent edge-centric view of scene graphs that connect to dependency parses. Together with a careful redesign of label and action space, we combine the two-stage pipeline used in prior work (generic dependency parsing followed by simple post-processing) into one, enabling end-to-end training. The scene graphs generated by our learned neural dependency parser achieve an F-score similarity of 49.67% to ground truth graphs on our evaluation set, surpassing best previous approaches by 5%. We further demonstrate the effectiveness of our learned parser on image retrieval applications.

研究の動機と目的

• 一般的な依存解析に続くヒューリスティックまたは単純な分類器による後処理に依存する2段階のシーングラフ解析パイプラインの限界を解消すること。
• 依存解析構造と自然に整合するエッジ中心の視点に切り替えることで、解釈可能性と性能を向上させること。
• 事前学習済みの言語的依存解析器に依存せず、視覚的・言語的シーングラフデータ上で直接カスタマイズされたニューラル依存解析器を学習すること。
• Fスコアに加え、画像検索などの下流ビジョンタスクにおける性能評価を通じて、解析器の有効性を検証すること。
• 画像にアタッチされたシーングラフが、密度ベクトル埋め込みよりもより強固で意味的に意味のある表現である可能性を検討すること。

提案手法

• ノードではなくエッジ（オブジェクト、属性、関係）を表すエッジ中心の依存構造としてシーングラフを再定式化する。
• 標準的な依存解析から冗長な言語的ラベルを除去し、オブジェクト、属性、関係の3種類のみを含むラベル空間を再設計する。
• ヘッドに接続されないノードを許容するアクション空間を変更し、機能語の省略を可能にし、意味的コンテンツに焦点を当てる。
• BISTフレームワーク（Kiperwasser and Goldberg, 2016）を用いて、語とノードの対応が整ったVisual Genomeデータセットで微調整された、1つのエンド・ツー・エンドのニューラル依存解析器を学習する。
• ゴールスタンダードのシーングラフアノテーションを用いた教師あり学習設定により、中間の依存木を経由せずに、直接シーングラフ構造に学習させる。
• 解析済みのシーングラフをクエリ表現とみなして画像検索に適用し、リランキングの性能を再帰率@5、再帰率@10、中央順位（median rank）で測定する。

実験結果

リサーチクエスチョン

• RQ1 エッジ中心の視点に再解釈することで、シーングラフ解析を依存解析に統合できるか？
• RQ2 ラベル空間とアクション空間を簡略化したカスタマイズされた依存解析器は、汎用的依存解析と後処理を組み合わせた2段階パイプラインを上回るか？
• RQ3 言語的ツリー・バンクからの知識の転移ではなく、視覚的・言語的データ上でエンド・ツー・エンドに学習させることで、シーングラフ解析の正確性が向上するか？
• RQ4 学習された解析器は、画像検索などの下流ビジョンタスクにどの程度一般化できるか？
• RQ5 文からグラフへのアライメントの質が、最終的な解析性能および一般化性能にどの程度影響を与えるか？

主な発見

• 提案されたエンド・ツー・エンドのニューラル依存解析器は、シーングラフ解析タスクで49.67%のFスコアを達成し、最良の先行手法を5ポイント上回った。
• 画像検索においてもスタンフォード・シーングラフ・パーサーを上回り、再帰率@5、再帰率@10、中央順位ともに高い性能を示し、ビジョン応用への一般化能力が優れていることが示された。
• アライメント済みの訓練グラフにおけるオラクルFスコア69.85%は、より良いアライメントまたはモデルアーキテクチャによってさらなる向上が可能である可能性を示唆している。
• アブレーションスタディにより、CONT弧の方向に依存しない性能の安定性が確認され、アーキテクチャの安定性が裏付けられた。
• モデルの性能向上は、別個の後処理ステップに依存するのではなく、解析とシーングラフ構造の共同最適化によるものであることが判明した。
• Johnson et al., 2015が示したように、属性や関係を考慮しない視覚的領域へのシーングラフの埋め込みは非効率であり、解析品質が検索性能に顕著に影響することが示された。