[論文レビュー] Resolving Language and Vision Ambiguities Together: Joint Segmentation & Prepositional Attachment Resolution in Captioned Scenes

Gordon Christie, Ankit Laddha+5 more|arXiv (Cornell University)|Apr 7, 2016

Multimodal Machine Learning Applications参考文献 49被引用数 14

ひとこと要約

本稿では、キャプション付き画像における同時的意味的セグメンテーションと前置詞句接続解析（PPAR）のための統合フレームワークを提案する。視覚モジュールと言語モジュールからの多様な仮説を用い、MEDIATORモデルによる一貫性のあるマルチモodal推論を実現する。このアプローチは、独立したモデルを上回り、Stanford Parser よりも PPAR の精度を最大28.69%相対的に向上させ、複数のベンチマークデータセットで最先端の結果を達成する。視覚と言語モジュール間の協調的推論がその要因である。

ABSTRACT

We present an approach to simultaneously perform semantic segmentation and prepositional phrase attachment resolution for captioned images. Some ambiguities in language cannot be resolved without simultaneously reasoning about an associated image. If we consider the sentence "I shot an elephant in my pajamas", looking at language alone (and not using common sense), it is unclear if it is the person or the elephant wearing the pajamas or both. Our approach produces a diverse set of plausible hypotheses for both semantic segmentation and prepositional phrase attachment resolution that are then jointly reranked to select the most consistent pair. We show that our semantic segmentation and prepositional phrase attachment resolution modules have complementary strengths, and that joint reasoning produces more accurate results than any module operating in isolation. Multiple hypotheses are also shown to be crucial to improved multiple-module reasoning. Our vision and language approach significantly outperforms the Stanford Parser (De Marneffe et al., 2006) by 17.91% (28.69% relative) and 12.83% (25.28% relative) in two different experiments. We also make small improvements over DeepLab-CRF (Chen et al., 2015).

研究の動機と目的

• キャプション付き画像における曖昧な言語的・視覚的解釈を解決する挑戦に応えること。ここでは、1つのモodalだけではすべての曖昧性を解消できない。
• 視覚と言語モジュールを独立して処理するパイプラインシステムの限界を克服すること。これにより誤差の伝搬が生じる。
• 視覚と言語モジュールの補完的強みを活かした統合推論フレームワークを開発し、セグメンテーションと解析の両方の精度を向上させること。
• 多様な仮説の生成と一貫性に基づくリランクリングが、個々のモジュール出力よりもより強固で正確なマルチモーダル理解を実現することを示すこと。

提案手法

• 各視覚および言語モジュールが、不確実性を表現するため、M 個の多様で妥当な仮説（例：複数のセグメンテーションや文構造解析）を生成する。
• MEDIATOR モデルが、視覚出力と言語出力の間の整合性を評価するために、全 M² 組の仮説ペアをスコア化する。
• 視覚的および言語的証拠を組み合わせる学習済みスコア関数を用い、α で重み付けされた損失関数によりモジュールの寄与度をバランスさせる。
• 最終予測は、仮説空間全体における共同探索により得られる、整合性が最も高い仮説ペアである。
• 予測されたセグメンテーションと解析の間の整合性を促進するため、エンドツーエンドで訓練される統合損失関数を用いる。
• 本手法は、人間によるアノテーションによる真値を用いて、ABSTRACT-50S、PASCAL-50S、PASCAL-Context-50S の3つのデータセットで評価される。

実験結果

リサーチクエスチョン

• RQ1 意味的セグメンテーションと前置詞句接続解析の統合的推論は、個々のモジュールの性能を上回る精度向上を実現できるか？
• RQ2 視覚および言語モジュールからの多様な仮説は、より強固なマルチモーダル推論にどのように寄与するか？
• RQ3 視覚と言語の予測の間の一貫性は、キャプション付きシーンにおける曖昧性をどの程度低減できるか？
• RQ4 MEDIATOR モデルが仮説ペアをリランクリングできる能力が、独立したモジュール出力よりも顕著な改善をもたらすか？
• RQ5 統合損失関数における視覚と言語モジュールの相対的重み付けに、性能はどの程度感度を示すか？

主な発見

• PASCAL-50S データセットにおいて、Stanford Parser よりも PPAR 精度が 17.91%（相対的に 28.69%）向上した。
• PASCAL-Context-50S データセットでは、Stanford Parser よりも 12.83%（相対的に 25.28%）の絶対的向上を達成した。
• すべてのデータセットにおいて、DeepLab-CRF よりもわずかだが一貫した上回りを示し、統合的推論の有効性を裏付けた。
• MEDIATOR モデルは α（モジュール間の重み付け）の選択に対して頑健であり、広い範囲の値で最良の性能を維持した。
• 複数の多様な仮説の使用は不可欠であった。整合性のあるペアを用いた統合的推論は、単一仮説ベースラインを上回った。
• 定性的な結果から、正しいセグメンテーションと解析が一貫して同時に選択されており、効果的なクロスモーダル整合性が実現されていることが示された。