[论文解读] Ecological Evaluation of Persuasive Messages Using Google AdWords

Marco Guerini, Carlo Strapparava+1 more|arXiv (Cornell University)|Apr 24, 2012

Mobile Crowdsensing and Crowdsourcing参考文献 13被引用 11

一句话总结

本文提出使用 Google AdWords 作为生态化、低成本且自动化的平台，以评估短消息中语言变体的说服力影响。通过部署采用 A/B 测试的受控广告活动，作者表明，细微的情感变化——例如 'gentle knight' 与 'valorous knight'——可显著改变点击率，其中温和的情感语言在非显著广告位表现优于更强的变体，在 α < 0.05 水平下达到统计显著性，总成本低于 €18，覆盖 986 名参与者。

ABSTRACT

In recent years there has been a growing interest in crowdsourcing methodologies to be used in experimental research for NLP tasks. In particular, evaluation of systems and theories about persuasion is difficult to accommodate within existing frameworks. In this paper we present a new cheap and fast methodology that allows fast experiment building and evaluation with fully-automated analysis at a low cost. The central idea is exploiting existing commercial tools for advertising on the web, such as Google AdWords, to measure message impact in an ecological setting. The paper includes a description of the approach, tips for how to use AdWords for scientific research, and results of pilot experiments on the impact of affective text variations which confirm the effectiveness of the approach.

研究动机与目标

• 解决传统实验室或 Mechanical Turk 基于的说服实验存在的高成本、耗时以及生态效度低的问题。
• 克服在受试者招募、动机激励以及对细微说服效果测量方面的局限。
• 开发一种可扩展、自动化且具有生态有效性的方法，用于评估说服性信息中的语言变体。
• 探究信息措辞中最小的情感变化是否会影响真实世界中的用户参与度。

提出的方法

• 利用 Google AdWords 的活动实验（ACE）工具，自动化测试说服性信息变体的 A/B 实验。
• 设计受控广告活动，使用特定关键词（例如 [medieval knights]）在自然网络搜索情境中定位真实用户。
• 使用精确匹配关键词和受控广告位置（例如 'top' 与 'other' 位置）以隔离信息内容的影响。
• 自动收集并分析不同广告变体及网络类型下的点击率（CTR）和展示次数。
• 按搜索网络（Google 与搜索合作伙伴）和广告位置对结果进行分段，以检测细微影响。
• 应用卡方检验（χ² 检验）评估控制组与实验组信息条件之间 CTR 差异的统计显著性。

实验结果

研究问题

• RQ1 在说服性信息中，轻微情感变化（例如 'gentle knight'）是否与更强变体（例如 'valorous knight'）相比，产生显著不同的参与率？
• RQ2 广告位置（显著位置 vs. 非显著位置）如何影响情感语言变体的有效性？
• RQ3 在真实世界条件下，修改广告标题而非正文字体，是否能带来更有效的说服力？
• RQ4 Google AdWords 是否可作为大规模评估语言说服策略的可扩展、自动化且生态有效的平台？

主要发现

• 在首次实验中，'valorous knight' 变体的点击率为 2.16%，而 'gentle knight' 为 1.52%，差异具有统计显著性（χ² = 6.24，p < 0.01）。
• 在第二次实验中，'gentle knight' 变体在搜索合作伙伴的 'other' 位置上表现优于 'valorous knight'，点击率分别为 0.95% 和 0.36%，差异具有统计显著性（α < 0.05）。
• 情感语言变体的影响在非显著广告位置更为显著，表明当注意力未完全集中时，细微的情感语言可能更具说服力。
• 本研究证实，AdWords 能够实现完全自动化、低成本的评估（€17.50 覆盖 986 名参与者），支持实时统计分析且人工干预极少。
• 结果表明，在真实世界条件下，修改广告标题比修改正文字体能带来更强的说服效果，点击率差异显著（χ² = 6.24，p < 0.01）。
• 尽管采用自动化分配，实验组在搜索合作伙伴的 'other' 位置上获得了更多展示次数，表明 AdWords 内部投放机制可能存在潜在不平衡，需在实验设计中予以谨慎考虑。