[논문 리뷰] Commercialized Generative AI: A Critical Study of the Feasibility and Ethics of Generating Native Advertising Using Large Language Models in Conversational Web Search

Ines Zelch, Matthias Hagen외 1명|arXiv (Cornell University)|2023. 10. 07.

AI in Service InteractionsComputer Science인용 수 3

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 기반으로 하는 생성형 AI 기반 대화형 웹 검색에 내재 광고를 통합하는 것의 가능성과 윤리적 함의를 조사한다. GPT-4와 You Chat를 사용한 프롬프트 엔지니어링을 통해, LLMs가 자연스럽게 제품 배치를 유기적인 응답에 통합할 수 있음을 입증하며, 광고와 검색 결과 사이의 경계를 흔들어, 사용자 기만과 검색이 정보 중개자로서의 신뢰성 약화를 야기할 수 있음을 제기한다.

ABSTRACT

How will generative AI pay for itself? Unless charging users for access, selling advertising is the only alternative. Especially in the multi-billion dollar web search market with ads as the main source of revenue, the introduction of a subscription model seems unlikely. The recent disruption of search by generative large language models could thus ultimately be accompanied by generated ads. Our concern is that the commercialization of generative AI in general and large language models in particular could lead to native advertising in the form of quite subtle brand or product placements. In web search, the evolution of search engine results pages (SERPs) from traditional lists of ``ten blue links'' (lists SERPs) to generated text with web page references (text SERPs) may further blur the line between advertising-based and organic search results, making it difficult for users to distinguish between the two, depending on how advertising is integrated and disclosed. To raise awareness of this potential development, we conduct a pilot study analyzing the capabilities of current large language models to blend ads with organic search results. Although the models still struggle to subtly frame ads in an unrelated context, their potential is evident when integrating ads into related topics which calls for further investigation.

연구 동기 및 목표

• LLM 기반 대화형 검색 결과 내에서 내재 광고를 생성하는 가능성 평가
• 대규모 언어 모델이 유기적이고 맥락에 맞는 응답에 홍보 콘텐츠를 얼마나 쉽게 통합할 수 있는지 조사
• 광고와 유기적 결과 사이의 경계가 모호해지면서 발생하는 사용자 기만의 위험을 포함한 윤리적 함의 분석
• 생성형 AI 시대에 검색 엔진이 정보 중개자로서 지녀야 할 사회적 책임 강조
• 대규모 조작을 방지하기 위해 생성형 AI 시스템에 대한 조기 감시, 공개 기준 및 외부 감사 도입 촉구

제안 방법

• GPT-4와 You Chat에 내장된 제품 배치를 포함한 검색 응답 생성을 지시하기 위해 프롬프트 엔지니어링을 활용한 시범 연구 수행
• 모델이 광고를 자연스럽게 맥락에 맞는 비홍보적인 어조의 텍스트에 통합할 수 있는 능력 평가
• 직접적인 표시 없이도 광고 콘텐츠가 암묵적으로 통합된 상태에서의 응답의 일관성, 관련성 분석
• 예시를 제시하여 (예: 여행 또는 기술 관련 질의에서의 제품 추천) 통합 패턴을 시각화
• 실제 SERP 레이아웃을 모방해 생성된 텍스트 아래에 '광고' 레이블을 배치함으로써 공개 방식 평가
• 기존 내재 광고 및 사용자 인식 연구를 바탕으로 윤리적 우려와 디자인 함의 설정

실험 결과

연구 질문

• RQ1 GPT-4 및 You Chat와 같은 대규모 언어 모델은 맥락에 부합하고 스타일적으로 유기적 콘텐츠와 구분되지 않는 내재 광고를 생성할 수 있는가?
• RQ2 LLM은 대화형 검색 인터페이스에서 광고와 유기적 검색 결과 사이의 경계를 어느 정도 흐리게 만들 수 있는가?
• RQ3 텍스트 기반 검색 결과에 내재 광고를 통합할 경우, 특히 공개가 지연되거나 은폐될 경우 윤리적 위험은 무엇인가?
• RQ4 텍스트 기반 SERP에 점진적으로 내재 광고가 도입될 경우, 사용자 신뢰와 검색 행동에 장기적으로 어떤 영향을 미칠 수 있는가?
• RQ5 사용자가 AI로 생성된 광고의 존재를 효과적으로 인지할 수 있도록 하기 위해 어떤 공개 메커니즘이 효과적일 수 있는가?

주요 결과

• GPT-4 및 You Chat와 같은 LLMs는 응답의 일관성과 관련성에 거의 영향을 주지 않으면서도 제품 배치를 성공적으로 유기적 응답에 통합할 수 있다.
• 기본적인 프롬프트 엔지니어링만으로도 맥락에 자연스럽게 통합되고 자연어 응답과 스타일이 일치하는 내재 광고를 생성할 수 있다.
• 광고를 텍스트 기반 SERP에 통합할 경우, 특히 '광고' 레이블이 생성된 텍스트 아래에만 배치될 경우, 사용자가 유기적 콘텐츠와 유료 콘텐츠를 구분하는 능력이 크게 떨어질 수 있다.
• 연구 결과는 전통적인 목록 기반 SERP에서 광고가 더 명확하게 분리되어 있는 것과 비교해, 텍스트 기반 SERP에서 기만의 위험이 더 높아질 수 있음을 확인한다.
• 공개 요구사항이 있더라도, 레이블이 두드러지지 않으면서 사용자가 이를 인지하거나 정확히 이해하지 못할 수 있다.
• 이러한 발견들은 생성형 AI 시스템을 검색에 사용할 경우 투명하고 이행 가능한 공개 기준과 외부 감사가 긴급히 필요하다는 점을 강조한다.