[論文レビュー] ADVISE: Symbolism and External Knowledge for Decoding Advertisements

Keren Ye, Adriana Kovashka|arXiv (Cornell University)|Nov 17, 2017

Multimodal Machine Learning Applications被引用数 3

ひとこと要約

ADVISEは、視覚的・言語的表現モデルとして、象徴的関連（例：gun = danger、motorcycle = adventure）および物体検出と画像キャプションからの外部知識を活用し、公共広告（PSA）および商業広告の理解を向上させる。視覚的・言語的埋め込み空間に、象徴ラベルと物体予測を制約および加法的成分として統合することで、広告理解タスクにおいて最先端技術比で21%の相対的改善を達成し、スローガン検索およびクラスタリングタスクにおいて強力なゼロショット性能を示す。

ABSTRACT

In order to convey the most content in their limited space, advertisements embed references to outside knowledge via symbolism. For example, a motorcycle stands for adventure (a positive property the ad wants associated with the product being sold), and a gun stands for danger (a negative property to dissuade viewers from undesirable behaviors). We show how to use symbolic references to better understand the meaning of an ad. We further show how anchoring ad understanding in general-purpose object recognition and image captioning improves results. We formulate the ad understanding task as matching the ad image to human-generated statements that describe the action that the ad prompts, and the rationale it provides for taking this action. Our proposed method outperforms the state of the art on this task, and on an alternative formulation of question-answering on ads. We show additional applications of our learned representations for matching ads to slogans, and clustering ads according to their topic, without extra training.

研究の動機と目的

• 象徴的参照と外部知識をモデル化することで、特に概念的に複雑な公共広告（PSA）の理解を向上させること。
• 視覚的・意味的埋め込みに象徴的マッピングと物体レベルの認識を組み込むことで、広告における比喩的・非直感的なメッセージの解読に挑戦すること。
• 現代の物体検出と注目メカニズムを組み合わせた象徴的知識と、従来の視覚的・意味的埋め込み手法を上回る性能向上を示すこと。
• ADVISEが学習した表現が、追加の訓練なしにスローガン検索やトピックベースのクラスタリングといったゼロショットタスクに一般化できることを示すこと。

提案手法

• 本手法は、広告画像をその意図する行動と根拠を説明する文にマッピングするための共同画像・テキスト埋め込み空間を学習する。この際、三重項ランク損失を用いる。
• 画像表現は、領域提案ネットワーク（例：Faster R-CNN）から抽出された領域特徴に基づき構築され、注目メカニズムが各領域に重要度重みを割り当てる。
• 象徴的関連（例：'gun' → 'danger'）を制約として用い、類似した象徴的意味を持つ画像が埋め込み空間内で近くなるように正則化する。
• 物体検出の予測結果は、ドメイン固有の知識ベースを介して象徴的概念にマッピングされ、加法的成分として画像表現を精緻化する。
• ノイズを含む画像キャプションを外部知識のソースとして用い、キャプションの単語を画像領域に伝搬することで意味的整合性を向上させる。
• 最終的な画像表現は、領域特徴、象徴ベースの制約、および知識強化埋め込みを統合し、下流タスクへの強力なゼロショット転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 象徴的関連（例：銃が危険を象徴する）を効果的に活用することで、公共広告における非直感的・概念的メッセージの理解が向上するか？
• RQ2 物体検出と画像キャプションからの外部知識を統合することで、広告理解タスクにおける視覚的・意味的埋め込みの性能がどのように向上するか？
• RQ3 象徴的制約と知識拡張画像表現は、スローガン検索やトピッククラスタリングといったゼロショットタスクにどの程度一般化可能か？
• RQ4 現代の物体認識技術（例：領域提案と注目メカニズム）を用いることで、従来の認識パイプラインに比べて広告理解が著しく向上するか？

主な発見

• ADVISEは、広告を人間が生成したメッセージと根拠を説明する文にマッチングさせる主な広告理解タスクで、最先端技術を21%上回った。
• 質問応答分類タスクでは、PSAで10.94%のトップ1精度、製品広告で12.64%のトップ1精度を達成し、それぞれ前回の最先端技術比で9%および6%の向上を示した。
• ハードな文書検索タスクでは、4.827（±0.025）のランクを達成し、VSE++（5.635）とHussain-Ranking（5.595）を著しく上回り、優れたゼロショット一般化性能を示した。
• スローガン検索では、3.331（±0.077）のランクを達成し、次善の手法を大きく上回り、学習済み表現の優れた転送性を示した。
• トピックベースのクラスタリングでは、0.355（±0.001）の同質性スコアを達成し、VSE++（0.292）とHussain-Ranking（0.291）を著しく上回り、トピックごとの意味的クラスタリングが優れていることを示した。
• 本手法は、概念的知識（象徴）がPSAにはより有益であり、一般用途の物体認識が製品広告にはより効果的であることを示し、外部知識ソースのタスク固有の有用性を強調した。