[論文レビュー] Factor Graph Attention

Idan Schwartz, Seunghak Yu+2 more|arXiv (Cornell University)|Apr 11, 2019

Multimodal Machine Learning Applications参考文献 61被引用数 14

ひとこと要約

本稿では、視覚対話における複数のデータユーティリティ（画像、質問、履歴、キャプション、回答）を要因グラフ定式化によって統合する一般化された注目メカニズム、Factor Graph Attention (FGA) を提案する。複雑な相互作用をモデル化することで、SOTAの性能を達成し、VisDial0.9 では MRR を 1.1% 向上、VisDial1.0 では 2% 向上させた。アンサンブルモデルでは、VisDial1.0 で 6% 以上の性能向上を達成した。

ABSTRACT

Dialog is an effective way to exchange information, but subtle details and nuances are extremely important. While significant progress has paved a path to address visual dialog with algorithms, details and nuances remain a challenge. Attention mechanisms have demonstrated compelling results to extract details in visual question answering and also provide a convincing framework for visual dialog due to their interpretability and effectiveness. However, the many data utilities that accompany visual dialog challenge existing attention techniques. We address this issue and develop a general attention mechanism for visual dialog which operates on any number of data utilities. To this end, we design a factor graph based attention mechanism which combines any number of utility representations. We illustrate the applicability of the proposed approach on the challenging and recently introduced VisDial datasets, outperforming recent state-of-the-art methods by 1.1% for VisDial0.9 and by 2% for VisDial1.0 on MRR. Our ensemble model improved the MRR score on VisDial1.0 by more than 6%.

研究の動機と目的

• 視覚対話において、複数のデータユーティリティ（画像、質問、履歴、キャプション、回答）を効果的に統合する必要がある、微細なニュアンスや詳細をモデル化する課題に対処する。
• 従来の注目メカニズムが視覚対話において通常は利用可能なデータユーティリティの一部しか扱えないという限界を克服する。
• 任意の数のデータユーティリティを構造的かつ解釈可能なかたちで統合できる、汎用的で拡張可能な注目フレームワークを開発する。
• 履歴や回答オプションを含む、利用可能なすべてのデータユーティリティに対する細分化された注目を活用することで、VisDial ベンチマークにおける性能を向上させる。
• 提案手法の柔軟性と有効性を、視覚対話以外のタスクにおいても示し、VQA および AVSD タスクでの性能向上を示す。

提案手法

• ノードがデータユーティリティ（例：画像、質問、履歴、キャプション、回答）を表す要因グラフを用いて注目メカニズムを定式化する。
• 情報の集約にメッセージパッシング手順を用い、複雑な依存関係や微細な手がかりをモデルが推論できるようにする。
• 各ユーティリティごとに別個の注目ヘッドを適用し、履歴および回答の個々の単語に対する細分化された注目を実装することで、微細な文脈を捉える。
• 局所化と推論の向上のため、ボトムアップオブジェクト候補（例：36領域特徴）を画像表現として統合する。
• すべてのユーティリティを同時に処理するマルチヘッド注目メカニズムを設計し、要因グラフ全体を通じたクエリ・キー相互作用に基づいて注目重みを計算する。
• クロスエントロピーおよび MRR を用いた損失関数を用いて、注目と予測ヘッドを同時に最適化可能なエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統一された注目メカニズムは、視覚対話において複数のデータユーティリティ（画像、質問、履歴、キャプション、回答）を効果的に統合し、性能を向上させることができるか？
• RQ2 個々の回答オプションおよび歴史的質問・回答ペアに対する細分化された注目は、標準的な履歴注目と比較して、モデルの推論をどのように向上させるか？
• RQ3 要因グラフを用いてすべてのユーティリティ間の相互作用をモデル化することで、視覚対話における解釈可能性と性能がどの程度向上するか？
• RQ4 提案された注目メカニズムは、視覚対話以外のマルチモーダルタスク（例：VQA や AVSD）へも一般化可能か？
• RQ5 さまざまなユーティリティ（例：キャプション、回答）は、特に曖昧または微細な状況において、注目パターンやモデル挙動にどのように寄与するか？

主な発見

• 提案された Factor Graph Attention メカニズムは、先行SOTA手法と比較して、VisDial0.9 で MRR を 1.1% 向上、VisDial1.0 で 2% 向上させた。
• FGA を用いたアンサンブルモデルは、VisDial1.0 で前回の最良手法よりも MRR スコアが 6% 以上高い結果を達成した。
• 注目から回答ユーティリティを除去すると、MRR が 0.6525 から 0.6294 に著しく低下し、対話文脈のモデル化におけるその重要性が示された。
• 個々の回答語に対する細分化された注目を導入することで、MRR は 0.6494 から 0.6525 に向上し、回答オプションとの詳細な相互作用の利点が裏付けられた。
• 標準的な注目を FGA に置き換えた場合、VQA v1.0 で精度が 0.3% 向上（57.0 から 57.3）し、広範な適用可能性が示された。
• AVSD では、FGA メカニズムにより、動画、音声、質問特徴を統合的なフレームワークで効果的に注目することで、CIDEr スコアが 0.733 から 0.806 に向上した。