[論文レビュー] Commercialized Generative AI: A Critical Study of the Feasibility and Ethics of Generating Native Advertising Using Large Language Models in Conversational Web Search

Ines Zelch, Matthias Hagen+1 more|arXiv (Cornell University)|Oct 7, 2023

AI in Service InteractionsComputer Science被引用数 3

ひとこと要約

本論文は、大規模言語モデル（LLMs）を活用した会話型Web検索におけるネイティブ広告の統合の可能性と倫理的影響を調査する。GPT-4およびYou Chatを用いたプロンプト工学により、LLMsが自然な応答に製品挿入を滑らかに統合でき、広告と検索結果の境界を曇らせることが示された。これは、ユーザーの誤認や検索が情報中立者としての信頼性の損なわれることを懸念させる。

ABSTRACT

How will generative AI pay for itself? Unless charging users for access, selling advertising is the only alternative. Especially in the multi-billion dollar web search market with ads as the main source of revenue, the introduction of a subscription model seems unlikely. The recent disruption of search by generative large language models could thus ultimately be accompanied by generated ads. Our concern is that the commercialization of generative AI in general and large language models in particular could lead to native advertising in the form of quite subtle brand or product placements. In web search, the evolution of search engine results pages (SERPs) from traditional lists of ``ten blue links'' (lists SERPs) to generated text with web page references (text SERPs) may further blur the line between advertising-based and organic search results, making it difficult for users to distinguish between the two, depending on how advertising is integrated and disclosed. To raise awareness of this potential development, we conduct a pilot study analyzing the capabilities of current large language models to blend ads with organic search results. Although the models still struggle to subtly frame ads in an unrelated context, their potential is evident when integrating ads into related topics which calls for further investigation.

研究の動機と目的

• LLM駆動の会話型検索結果内でネイティブ広告を生成する可能性を評価すること。
• 大規模言語モデルが、文脈的に関連性のある自然な応答にプロモーションコンテンツを容易に統合できるかを調査すること。
• 特に広告と有機的結果の区別が曇ることによるユーザーの誤認のリスクを含め、その統合の倫理的影響を検討すること。
• 生成AIの時代における検索エンジンが情報中立者として果たす社会的責任を浮き彫りにすること。
• スケールでの操作を防ぐために、早期の監視、開示基準、および外部監査の導入を呼びかけること。

提案手法

• GPT-4およびYou Chatに、埋め込み型製品挿入を含む検索応答を生成するようプロンプト工学を用いて指示したパイロットスタディを実施した。
• モデルが文脈的に関連性があり、プロモーション的ではない雰囲気の自然な文章に広告をフレームする能力を評価した。
• 出力の整合性、関連性、および明示的なラベルなしにプロモーションコンテンツを繊細に統合したかを分析した。
• 旅行やテクノロジー関連のクエリにおける製品推薦などの具体例を用い、統合のパターンを示した。
• 実際のSERPレイアウトを模倣する形で、生成されたテキストの下に「広告」ラベルを配置する方法をシミュレートし、開示の実施状況を評価した。
• 先行研究のネイティブ広告およびユーザー認識に関する知見を活用し、倫理的懸念と設計上のインプリケーションを構築した。

実験結果

リサーチクエスチョン

• RQ1 GPT-4やYou Chatのような大規模言語モデルは、文脈的に関連性があり、スタイルが自然な応答と区別がつかないネイティブ広告を生成できるか？
• RQ2 LLMsは会話型検索インターフェースにおいて、支払い広告と有機的検索結果の境界をどの程度曇らせるか？
• RQ3 テキストベースの検索結果にネイティブ広告を統合する際の倫理的リスクは何か。特に、開示が遅延されたり、ぼかされたりする場合のリスクを含む。
• RQ4 テキストSERPに段階的にネイティブ広告が導入されると、ユーザーの信頼や検索行動に時間経過とともにどのような影響が生じるか？
• RQ5 ユーザーがAI生成広告の存在を効果的に認識できるような、目立たせずに見過ごされにくい開示メカニズムは何か？

主な発見

• GPT-4やYou ChatなどのLLMsは、整合性や関連性にほとんど影響を与えずに、有機的応答に製品挿入を成功裏に統合できる。
• 基本的なプロンプト工学さえも、文脈的に埋め込まれ、自然言語の応答とスタイルが一致するネイティブ広告の生成を可能にする。
• 広告をテキストSERPに統合することで、ユーザーが有機的コンテンツと有料コンテンツを区別する能力が著しく低下する可能性がある。特に、「広告」ラベルが生成されたテキストの下にのみ配置されている場合に顕著である。
• 本研究では、従来のリスト形式SERPとは異なり、テキストSERPでは誤認のリスクが高まることを確認した。従来形式では広告がより明確に分離されているため。
• 開示要件があるにせよ、ユーザーが「広告」ラベルを正しく認識または無視する可能性が高く、特に目立たない表示の場合は顕著である。
• これらの発見は、透明性があり、強制力のある開示基準と、検索に使用される生成AIシステムに対する外部監査の緊急の必要性を強調している。