[論文レビュー] Ecological Evaluation of Persuasive Messages Using Google AdWords

Marco Guerini, Carlo Strapparava+1 more|arXiv (Cornell University)|Apr 24, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用数 11

ひとこと要約

本論文では、短いメッセージ内の言語的バリエーションの説得的影響を、生態的で低コストかつ自動化されたプラットフォームとしてGoogle AdWordsを活用することを提案する。A/Bテストを用いた制御された広告キャンペーンを実施することで、『やさしい騎士』対『誇るべき騎士』といった微細な感情的変化がクリック率に顕著な影響を及ぼすことが示された。特に目立たない広告表示位置では、強い感情表現よりもやや穏やかな感情表現が効果を発揮し、986名の参加者に対して18ユーロ未満の費用で有意水準α < 0.05で統計的有意差が得られた。

ABSTRACT

In recent years there has been a growing interest in crowdsourcing methodologies to be used in experimental research for NLP tasks. In particular, evaluation of systems and theories about persuasion is difficult to accommodate within existing frameworks. In this paper we present a new cheap and fast methodology that allows fast experiment building and evaluation with fully-automated analysis at a low cost. The central idea is exploiting existing commercial tools for advertising on the web, such as Google AdWords, to measure message impact in an ecological setting. The paper includes a description of the approach, tips for how to use AdWords for scientific research, and results of pilot experiments on the impact of affective text variations which confirm the effectiveness of the approach.

研究の動機と目的

• 従来のラボベースやMechanical Turkベースの説得実験における高コスト、長時間、低生態的妥当性の問題に対処すること。
• 被験者募集、動機付け、微細な説得的効果の測定における制限を克服すること。
• 言語的バリエーションの説得的メッセージを評価するためのスケーラブルで自動化され、生態的妥当性を有する手法を開発すること。
• メッセージ表現における最小限の感情的変化が、実世界のユーザー参加に影響を与えるかどうかを調査すること。

提案手法

• 説得的メッセージのバリエーションを自動化してA/Bテストするため、Google AdWordsのキャンペーン実験（ACE）ツールを活用した。
• 具体的なキーワード（例：[中世の騎士]）を用いて、自然なウェブ検索環境における実際のユーザーを標的にした制御された広告キャンペーンを設計した。
• キーワードの正確一致と、広告表示位置の制御（例：『上部』対『その他の位置』）により、メッセージ内容の影響を明確に分離した。
• 広告バージョンやネットワークタイプごとに、クリック率（CTR）とインプレッションを自動収集・分析した。
• 検索ネットワーク（Google対検索提携先）および広告表示位置ごとに結果をセグメンテーションし、微細な効果を検出した。
• CTRの差を統計的有意性検定（カイ二乗検定）により、対照群と実験群のメッセージ条件の差を評価した。

実験結果

リサーチクエスチョン

• RQ1 『やさしい騎士』といったやや穏やかな感情的表現を含む説得的メッセージが、『誇るべき騎士』といったより強い表現を含むものと比較して、有意に異なる参加率を示すか？
• RQ2 広告の表示位置（目立つ位置対目立たない位置）が、感情的表現のバリエーションの効果にどのように影響するか？
• RQ3 本文ではなく広告タイトルを変更することで、実世界の状況でより効果的な説得が達成できるか？
• RQ4 Google AdWordsは、大規模な言語的説得戦略の評価に向け、スケーラブルで自動化され、生態的妥当性を有するプラットフォームとして機能できるか？

主な発見

• 最初の実験では、『誇るべき騎士』のバージョンが2.16％のCTRを記録した一方で、『やさしい騎士』は1.52％であった。この差は統計的に有意であり（χ² = 6.24、p < 0.01）。
• 2番目の実験では、検索提携先の『その他の位置』で『やさしい騎士』のバージョンが『誇るべき騎士』を上回り、CTRはそれぞれ0.95％と0.36％であり、有意差が確認された（α < 0.05）。
• 感情的表現の変化の効果は、目立たない広告表示位置で顕著に現れた。これは、注意が完全に集中していない状況では、微細な感情表現がより効果的である可能性を示唆している。
• 本研究は、AdWordsが完全に自動化され、低コスト（986名の参加者で17.50ユーロ）で評価が可能であり、リアルタイムでの統計的分析と最小限の手動介入を可能にすることを確認した。
• 結果から、広告タイトルの変更が本文の変更よりも強い説得的効果をもたらすことが示された。CTRの差は統計的に有意であり（χ² = 6.24、p < 0.01）。
• 自動割り当てであったにもかかわらず、検索提携先の『その他の位置』で実験条件の広告がより多くのインプレッションを獲得した。これは、AdWordsの内部配信メカニズムにおける潜在的な不均衡が、慎重な実験設計を必要とすることを示唆している。