[論文レビュー] Scene Graph Parsing by Attention Graph

Martin Andrews, Yew Ken Chia+1 more|arXiv (Cornell University)|Sep 13, 2019

Multimodal Machine Learning Applications参考文献 26被引用数 8

ひとこと要約

この論文では、事前学習済みTransformerの自己注意機構を直接活用して、自然言語記述からシーングラフ構造をエンドツーエンドで予測できる「アテンショングラフ」メカニズムを提案する。ノードタイプと親アーキの並列分類により、Visual Genomeデータセット上でSPICE指標で52.21%のFスコアを達成し、先行手法を2.5%上回った。

ABSTRACT

Scene graph representations, which form a graph of visual object nodes together with their attributes and relations, have proved useful across a variety of vision and language applications. Recent work in the area has used Natural Language Processing dependency tree methods to automatically build scene graphs. In this work, we present an 'Attention Graph' mechanism that can be trained end-to-end, and produces a scene graph structure that can be lifted directly from the top layer of a standard Transformer model. The scene graphs generated by our model achieve an F-score similarity of 52.21% to ground-truth graphs on the evaluation set using the SPICE metric, surpassing the best previous approaches by 2.5%.

研究の動機と目的

• エンドツーエンド学習を可能にするために、事前学習済みTransformerの注意機構を直接活用するシーングラフパースモデルの開発。
• 逐次的・遷移ベースのパース手法の限界を克服し、グラフ構造を包括的かつ並列に予測できる仕組みの構築。
• 新規の注意駆動型グラフ構築メカニズムを用いて、Visual Genomeデータセットにおけるシーングラフパース性能の向上。
• 注意ヘッドを用いて、構造的かつ微分可能なかたちでノード接続性とタイプ分類を暗黙的にモデル化できるかの検証。

提案手法

• 領域記述と対応するシーングラフを微調整対象として、事前学習済みOpenAI Transformerモデル（12層、768次元の隠れ層）を用いる。
• 各単語トークンに対してノードタイプ（例：SUBJ, PRED, OBJT, ATTR, same, none）と親ノードインデックスを予測するカスタム「アテンショングラフ」層を導入。
• ノードタイプ分類と親アーキ予測の両方の交差エントロピー損失の重み付き和を用いて、アテンショングラフ層を訓練。
• 自己注意機構をマスク付きで使用し、すべてのトークンを同時に注目可能にすることで、逐次的遷移ではなく並列なグラフ構造予測を実現。
• 「none」を親ノードなしを示すものとして、すべての可能な親ノードに対する微分可能なソフトマックスを用いて親アーキのソフトラベルを適用。
• ノードタイプとアーキ方向を構造的に出力可能にするために、CONLLファイル形式を活用。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みTransformerの自己注意機構を、オブジェクト・属性・関係といった構造的シーングラフ要素をエンドツーエンドで直接予測するために適応可能か？
• RQ2 並列的・アテンション駆動型のグラフ構築アプローチは、逐次的・遷移ベースのパース手法を上回る性能を発揮するか？
• RQ3 自然言語記述の学習で訓練されたモデルが、Visual Genomeデータセットの正解アノテーションと整合するシーングラフをどの程度正確に生成できるか？
• RQ4 提案手法のアテンショングラフモデルは、SOTA手法と比較してどの程度の性能を示すか、特にSPICE Fスコアの観点から。
• RQ5 Visual Genomeデータセット自体に内在する制約は何か。それらはモデル性能の上限にどのような影響を及えるか？

主な発見

• 提案されたアテンショングラフモデルは、Visual Genome検証セットでSPICE Fスコア52.21%を達成し、前回最良手法を2.5%上回った。
• 弱いOracleベースライン上で学習されているにもかかわらず、先行手法を上回った。これは、アテンション駆動アーキテクチャが構造的依存関係をより効果的に捉えられることを示唆している。
• 訓練に用いたOracleシステムは、有用な語に限定した場合に66.30%のFスコアを達成しており、データセットのアノテーション品質がモデル性能を制限している可能性を示している。
• Oracleの高い性能にもかかわらず、依然として大幅な改善余地がある。これは、欠落した関係や不適切な属性の過剰アノテーションといったデータ品質上の問題が、性能の上限を制限していることを示している。
• 注意機構により、逐次的依存関係を伴う遷移ベースパーサーに内在する問題を回避し、直接的かつ並列的なグラフ構造予測が可能になった。
• 著者らは、モデル性能の制限要因はアーキテクチャではなく、記述に関係が欠落していることや属性が過剰にアノテートされているといったVisual Genomeデータセット内の一貫性の欠如に起因していると観察している。