[論文レビュー] Linguistic Structure Guided Context Modeling for Referring Image Segmentation

Tianrui Hui, Si Liu+5 more|arXiv (Cornell University)|Oct 1, 2020

Multimodal Machine Learning Applications参考文献 42被引用数 10

ひとこと要約

本稿では、依存解析ツリーで制約けられた語グラフ（DPT-WG）を用いた「収集－伝搬－配布」スキームにより、マルチモーダルな文脈をモデル化する言語的構造誘導型コンテキストモデリング（LSCM）モジュールを提案する。この手法は、関連する視覚的・言語的特徴を効果的に集約し、不要な特徴を抑制することで、4つのベンチマークで最先端の性能を達成し、セグメンテーション精度を向上させる。

ABSTRACT

Referring image segmentation aims to predict the foreground mask of the object referred by a natural language sentence. Multimodal context of the sentence is crucial to distinguish the referent from the background. Existing methods either insufficiently or redundantly model the multimodal context. To tackle this problem, we propose a "gather-propagate-distribute" scheme to model multimodal context by cross-modal interaction and implement this scheme as a novel Linguistic Structure guided Context Modeling (LSCM) module. Our LSCM module builds a Dependency Parsing Tree suppressed Word Graph (DPT-WG) which guides all the words to include valid multimodal context of the sentence while excluding disturbing ones through three steps over the multimodal feature, i.e., gathering, constrained propagation and distributing. Extensive experiments on four benchmarks demonstrate that our method outperforms all the previous state-of-the-arts.

研究の動機と目的

• 参照画像セグメンテーションにおけるノイズが多く冗長なマルチモーダルコンテキストモデリングの課題に対処すること。
• 言語的構造を活用して選択的かつコンテキストに適応した特徴集約をガイドすることで、参照対象の局所化を改善すること。
• マルチモーダル特徴統合の過程で、関係のない視覚的または言語的特徴からの干渉を低減すること。
• 制約付きグラフ伝搬を通じて、有効で文レベルのマルチモーダルコンテキストを効率的かつ効果的にモデル化するメカニズムを開発すること。

提案手法

• 各ノードが語を表し、文法的依存関係によって制約された語グラフ（DPT-WG）を構築する。
• クロスモodal注意を用いて「収集」を行い、各語を視覚的に関連する画像領域と関連づけ、初期のマルチモーダル特徴を形成する。
• DPTに従うエッジの抑制を伴う制約付きグラフ畳み込みを適用し、語同士の間で文脈を伝搬させるが、意味的に離れたまたは不適切な接続は除外する。
• 「配布」を用いて、精錬されたマルチモーダル特徴を画像特徴マップへと再伝搬し、セグメンテーションヘッドの入力とする。
• エンドツーエンド学習を用い、交差エントロピー損失とDice損失を組み合わせて、LSCMモジュールをセグメンテーションフレームワークに統合する。
• パラメータαを備えた学習可能なツリー・マスクを用い、直接接続とDPT制約付き伝搬のバランスを調整し、ノイズ抑制に最適化されたエッジ重みを最適化する。

実験結果

リサーチクエスチョン

• RQ1 参照画像セグメンテーションにおいて、言語的構造を効果的に活用して関連するマルチモーダルコンテキストをモデル化しつつ、邪魔な特徴を除外することは可能か？
• RQ2 マルチモーダルコンテキストモデリングにおける語グラフ伝搬において、完全接続と文法的制約の最適なバランスは何か？
• RQ3 DPTで制御されたグラフ伝搬を用いた「収集－伝搬－配布」フレームワークは、従来の手法よりもセグメンテーション精度を向上させることができるか？
• RQ4 エッジ重み付けの選択（例：ツリーマスクにおけるα）は、モデルの不要なコンテキストを抑制する能力にどのように影響するか？

主な発見

• LSCMモジュールは、4つの参照画像セグメンテーションベンチマークで最先端の性能を達成し、以前のSOTA手法を上回った。
• ツリーマスクのα = 0.1の設定では、UNCバリデーションセットで55.93%のIoUを達成し、DPT抑制なし（α = 1）のベースラインより1.12%向上した。
• グラフ畳み込みを1層のみ（n=1）にした場合が最良の性能を示し、深く伝搬させることでノイズが増加するだけで利益がないことが示された。
• アブレーションスタディの結果、DPTによる制約付き伝搬が不可欠であることが確認された。DPTなしのモデルは、語レベルの特徴集約を用いても、性能が劣化した。
• 定性的な結果から、モデルは「茶色のコート」や「粉赤のテーブルの上にいる金色の犬」のような複雑な表現を正確に局所化できており、複数のエンティティや属性が存在する状況でも有効であることが示された。