[論文レビュー] Equal But Not The Same: Understanding the Implicit Relationship Between Persuasive Images and Text

Mingda Zhang, Rebecca Hwa+1 more|arXiv (Cornell University)|Sep 1, 2018

Language, Metaphor, and Cognition被引用数 10

ひとこと要約

この論文は広告における比喩的・暗黙的な画像とテキストの関係を調査し、画像とテキストのペアが並行的（非文語的・同一のメッセージを伝えている）か非並行的かを分類する手法を提案する。クラウドソーシングを用いたデータセットと、画像の創造性およびテキストの明確さ／曖昧さを捉える特徴量を用い、標準的な画像・テキストアライメント手法よりも、並行性を予測する性能が優れている。

ABSTRACT

Images and text in advertisements interact in complex, non-literal ways. The two channels are usually complementary, with each channel telling a different part of the story. Current approaches, such as image captioning methods, only examine literal, redundant relationships, where image and text show exactly the same content. To understand more complex relationships, we first collect a dataset of advertisement interpretations for whether the image and slogan in the same visual advertisement form a parallel (conveying the same message without literally saying the same thing) or non-parallel relationship, with the help of workers recruited on Amazon Mechanical Turk. We develop a variety of features that capture the creativity of images and the specificity or ambiguity of text, as well as methods that analyze the semantics within and across channels. We show that our method outperforms standard image-text alignment approaches on predicting the parallel/non-parallel relationship between image and text.

研究の動機と目的

• 文語的でない関係性を越えて、広告における説得的画像とテキストの複雑な非文語的関係を理解すること。
• 既存の画像キャプション生成手法の限界に対処すること。これらの手法は、主に冗長で文語的な画像・テキストペアしかモデル化していない。
• 広告における並行的（非文語的類似性）と非並行的画像・テキスト関係を区別する分類フレームワークを開発すること。
• 人間によるアノテーションで得られた画像・スローガン関係の解釈データを収集・分析し、暗黙の意味的つながりを捉えること。

提案手法

• Amazon Mechanical Turkを用いて、広告の解釈データセットを収集し、画像・スローガンペアを並行的か非並行的かにラベル付けする。
• 画像の創造性とテキストの明確さ／曖昧さを捉える特徴量を設計し、非文語的関係をモデル化する。
• 意味的分析技術を用いて、画像およびテキストモダリティ内および両者間の意味を検討する。
• これらの特徴量を用いて分類モデルを訓練し、画像・スローガンペアが並行的関係を形成するかどうかを予測する。
• マルチモーダル意味的埋め込みを用いて、文語的コンテンツマッチングを超えた画像とテキスト表現の比較・アライメントを行う。

実験結果

リサーチクエスチョン

• RQ1 人々は、文語的コンテンツマッチングを超えて、広告における説得的画像とスローガンの関係をどのように認識しているか？
• RQ2 広告における画像とテキストの暗黙的・非文語的つながりを最もよく捉える特徴量は何か？
• RQ3 機械学習モデルは、意味的およびスタイル的特徴に基づいて、画像・スローガンペアを並行的か非並行的かに効果的に分類できるか？
• RQ4 提案手法は、並行性を予測するうえで、標準的な画像・テキストアライメント手法と比較してどのように優れているか？

主な発見

• 提案手法は、標準的な画像・テキストアライメント手法と比較して、並行的対と非並行的対の関係を予測する性能が優れている。
• 画像の創造性とテキストの明確さ／曖昧さを捉える特徴量が、分類性能の向上に顕著に寄与している。
• 人間によるアノテーションの解釈から、広告における並行的関係は、しばしば比喩的または象徴的意味に基づいていることが明らかになった。
• アノテート済みの画像・スローガンペアデータセットは、広告における暗黙の画像・テキスト関係を研究する貴重なリソースを提供している。