[論文レビュー] Understanding Visual Ads by Aligning Symbols and Objects using Co-Attention

Karuna Ahuja, Karan Sikka+2 more|arXiv (Cornell University)|Jul 4, 2018

Multimodal Machine Learning Applications参考文献 25被引用数 12

ひとこと要約

本稿では、視覚的意味埋め込みフレームワーク内にマルチホップ共注意力メカニズムを提案し、画像領域と記号的参照を一致させることで、弱教師付き設定下での記号的および意味的ニュアンスを効果的に捉えることにより、視覚広告理解の向上を図る。視覚的提案と記号の間で繰り返し注意力を精錬することで、広告データセット上で平均ランク6.58を達成し、ベースラインを上回る性能を発揮した。

ABSTRACT

We tackle the problem of understanding visual ads where given an ad image, our goal is to rank appropriate human generated statements describing the purpose of the ad. This problem is generally addressed by jointly embedding images and candidate statements to establish correspondence. Decoding a visual ad requires inference of both semantic and symbolic nuances referenced in an image and prior methods may fail to capture such associations especially with weakly annotated symbols. In order to create better embeddings, we leverage an attention mechanism to associate image proposals with symbols and thus effectively aggregate information from aligned multimodal representations. We propose a multihop co-attention mechanism that iteratively refines the attention map to ensure accurate attention estimation. Our attention based embedding model is learned end-to-end guided by a max-margin loss function. We show that our model outperforms other baselines on the benchmark Ad dataset and also show qualitative results to highlight the advantages of using multihop co-attention.

研究の動機と目的

• 画像内の記号的および意味的参照をモデル化することで、視覚広告の理解の課題に取り組む。
• 記号と感情の弱教師付き信号を活用して、画像と人間が生成した文の間のマルチモーダルマッチングを改善する。
• 標準的な注意力メカニズムが画像領域と記号的参照の間の多数対多数マッピングを処理する際の限界を克服する。
• 繰り返し注意力マップを精錬することで、より良い整合性と表現学習を実現する共注意力メカニズムを開発する。
• マルチホップ共注意力が視覚広告における複雑な記号的および意味的関係を捉える有効性を実証する。

提案手法

• モデルは、複数のイテレーションにわたり、記号表現に基づいて画像領域に注意力を向け、逆に画像領域に基づいて記号に注意力を向ける、マルチホップ共注意力メカニズムを用いる。
• 画像特徴は、ResNet-101を用いて上位70個のオブジェクトプロポージョンから抽出され、記号表現は弱教師付き記号検出モデルからの事前学習済みスコアを初期値として用いる。
• 注意力マップは繰り返し精錬され、各ステップが直前の注意力出力を条件としているため、視覚的および記号的モodal間の段階的整合性が可能になる。
• 最終的なマルチモーダル埋め込みは、すべての共注意力ホップにおける注意付きの視覚的および記号的特徴を統合することで形成される。
• 正例の画像文ペアの類似度スコアが負例よりも高くなるように促進する最大マージン損失関数を用いて、エンドツーエンドでモデルを訓練する。
• オブジェクトプロポージョンを視覚的アンカーとして用い、記号的キューを介して注意力を誘導することで、ボトムアップとトップダウンの注意力を統合する。

実験結果

リサーチクエスチョン

• RQ1 マルチホップ共注意力は、視覚広告における視覚的領域と記号的参照の整合性を向上させることができるか？
• RQ2 注意力マップの繰り返し精錬は、弱教師付き広告理解におけるマルチモーダルマッチング性能にどのように影響するか？
• RQ3 共注意力は、広告内の複雑な記号的関係をモデル化する際、標準的なトップダウンまたはボトムアップ注意力メカニズムを上回るか？
• RQ4 記号初期化スコアと注意力精錬が、Adデータセットにおける性能向上にどの程度寄与しているか？
• RQ5 提案手法は、領域と記号の関係が曖昧な弱教師付きアノテーションデータに一般化可能か？

主な発見

• 提案されたVSE-CoAtt-2モデルは、Adデータセットで平均ランク6.58を達成し、ベースラインのVSEモデル（平均ランク7.79）を著しく上回った。
• マルチホップ共注意力（VSE-CoAtt-2）は、シングルホップ共注意力（VSE-CoAtt）と比較して平均ランクを0.10低下させ、繰り返し精錬の利点を示した。
• 固定された注意力テンプレートを用いるVSE-P-Att（平均ランク7.35）よりも性能が優れており、動的で注意力誘導による整合性の利点を示した。
• 各記号の確率を注意力初期化に用いた場合（VSE-CoAtt-wtおよびVSE-CoAtt-2-wt）は、やや性能が低下（平均ランク6.77および6.75）し、データが限られた状況での過学習の可能性を示唆した。
• アブレーションスタディにより、マルチホップ共注意力が視覚広告における洗練された記号的および意味的関係を捉えるために不可欠であることが確認された。
• モデルは、注意の局在化において定性的に改善を示し、PSA広告において「死」といった記号を関連する画像領域に正しく一致させた。