[論文レビュー] MAF: Multimodal Alignment Framework for Weakly-Supervised Phrase Grounding

Qinxin Wang, Hao Tan+3 more|arXiv (Cornell University)|Oct 12, 2020

Multimodal Machine Learning Applications参考文献 23被引用数 5

ひとこと要約

MAFは、弱教師ありフレーズアライメントを改善するマルチモーダルアライメントフレームワークを提案する。物体ラベルを超えた細分化された特徴を用いて視覚的表現を強化し、視覚に配慮した言語表現を用いてアライメントを向上させる。弱教師あり設定下でFlickr30k Entitiesで61.43%の精度を達成し、先行手法を22.72%上回り、無教師設定でも5.56%向上し56.05%の精度を達成した。

ABSTRACT

Phrase localization is a task that studies the mapping from textual phrases to regions of an image. Given difficulties in annotating phrase-to-object datasets at scale, we develop a Multimodal Alignment Framework (MAF) to leverage more widely-available caption-image datasets, which can then be used as a form of weak supervision. We first present algorithms to model phrase-object relevance by leveraging fine-grained visual representations and visually-aware language representations. By adopting a contrastive objective, our method uses information in caption-image pairs to boost the performance in weakly-supervised scenarios. Experiments conducted on the widely-adopted Flickr30k dataset show a significant improvement over existing weakly-supervised methods. With the help of the visually-aware language representations, we can also improve the previous best unsupervised result by 5.56%. We conduct ablation studies to show that both our novel model and our weakly-supervised strategies significantly contribute to our strong results.

研究の動機と目的

• 広く利用可能なキャプション-画像ペアを弱教師信号として活用することで、大規模なフレーズ-オブジェクトアノテーション付きデータセットの不足を補う。
• 物体ラベルに基づく局所化の曖昧さを解消するため、Faster R-CNNから得られるような細分化された視覚的特徴と物体ラベルを統合する。
• 強化されたマルチモーダルアライメントを通じて、弱教師ありおよび無教師あり設定の両方でフレーズアライメント性能を向上させる。
• キャプション-画像の関連性を用いて視覚的および言語的表現をアライメントするための対照的学習目的を設計する。
• 視覚に配慮した言語表現および各構成要素の消去実験を通じて、アライメント精度の向上の有効性を実証する。

提案手法

• 事前学習済みのFaster R-CNNオブジェクト検出器から得られる物体ラベル、視覚的特徴、属性を組み合わせることで視覚的表現を強化する。
• フレーズ埋め込みと強化された視覚的特徴の間のクロスアテンションを用いて視覚に配慮した言語表現を構築する。
• 共同視覚-言語表現に基づいてフレーズ-オブジェクトマッチングスコアを計算するためのマルチモーダル類似度関数を設計する。
• 関連するキャプション-画像ペアに対して高いスコアが得られるように、不適切なペアよりも高いスコアを促進する対照的目的関数を用いてモデルを学習する。
• 2段階の訓練戦略を採用する：まず視覚的および言語的エンコーダーを事前学習し、次に対照的損失を用いてアライメントヘッドを微調整する。
• 訓練の安定化と性能向上を図るため、視覚的プロジェクションにはゼロ初期化、言語的プロジェクションにはアイデンティティ＋ノイズを適用する特定の重み初期化戦略を適用する。

実験結果

リサーチクエスチョン

• RQ1 キャプション-画像ペアしか利用できない状況下で、細分化された視覚的特徴はフレーズアライメント性能の向上に寄与するか？
• RQ2 視覚に配慮した言語表現を統合することで、弱教師ありフレーズアライメントにおけるアライメント精度はどのように変化するか？
• RQ3 異なる視覚的特徴（ラベル、特徴、属性）が最終的なアライメント性能に与える寄与度は何か？
• RQ4 アライメントヘッドの異なる初期化戦略は、モデルの収束性および精度にどのように影響するか？
• RQ5 提案されたフレームワークは、フレーズ-オブジェクトペアのアノテーションが一切ない状況下で、無教師フレーズアライメントをどの程度向上できるか？

主な発見

• 弱教師あり学習下でMAFはFlickr30k Entitiesで61.43%の精度を達成し、前回の最先端手法を22.72%上回った。
• 無教師設定では、視覚に配慮した言語表現を用いることで、前回の最高結果50.49%から56.05%まで向上した。
• テキスト特徴表現における視覚的アテンションを平均プーリングに置き換えると、精度は61.43%から60%未満に低下し、アテンションの重要性が示された。
• 視覚的特徴表現に物体ラベルのみ、または視覚的特徴のみを用いると、それぞれ4.20%および2.94%の精度低下が生じ、統合表現の必要性が示された。
• 最良の初期化戦略は、視覚的プロジェクション行列をゼロ初期化し、言語的プロジェクションにアイデンティティ＋ランダムノイズを適用するもので、61.28%の精度を達成し、分散が小さかった。
• すべての視覚的特徴（ラベル、特徴、属性）を含む完全なモデルは、ラベルと特徴のみを用いたモデルに比べて性能が劣り、このデータセットでは属性が限られた識別的パワーを発揮していることが示唆された。