[논문 리뷰] Search Engines Post-ChatGPT: How Generative Artificial Intelligence Could Make Search Less Reliable

Shahan Ali Memon, Jevin D. West|arXiv (Cornell University)|2024. 02. 18.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 논평은 생성형 AI를 검색 엔진에 통합하는 것이 환각, 원천 기원성 감소, 편향되고 덜 신뢰할 수 있는 결과로 이어질 수 있음을 다루며, 인지 가능한 신뢰성과의 관계에도 주목한다.

ABSTRACT

In this commentary, we discuss the evolving nature of search engines, as they begin to generate, index, and distribute content created by generative artificial intelligence (GenAI). Our discussion highlights challenges in the early stages of GenAI integration, particularly around factual inconsistencies and biases. We discuss how output from GenAI carries an unwarranted sense of credibility, while decreasing transparency and sourcing ability. Furthermore, search engines are already answering queries with error-laden, generated content, further blurring the provenance of information and impacting the integrity of the information ecosystem. We argue how all these factors could reduce the reliability of search engines. Finally, we summarize some of the active research directions and open questions.

연구 동기 및 목표

• GenAI를 검색에 통합하는 연구의 동기와 정보 신뢰성에 미치는 잠재적 영향을 모색한다.
• LLM 구동 검색 출력에서 제시되는 사실상의 불일치, 환각, 편향을 강조한다.
• 생성형 검색 시스템의 원천 기원성, 신뢰, 검증 이슈를 논의한다.
• GenAI 기반 검색 도구를 평가하기 위한 열린 질문과 가능한 연구 방향을 식별한다.

제안 방법

• GenAI 구동 검색이 일관되게 보이지만 맥락상 올바르지 않거나 잘못 인용된 정보를 반환하는 사례를 설명한다.
• Retrieval Augmented Generation (RAG) 프레임워크와 환각 감소의 한계를 설명한다.
• GenAI 시스템이 불확실성을 처리하는 방식과 그럴듯해 보이지만 거짓인 결과를 제시하는 경향을 조사한다.
• 생성된 콘텐츠의 원천 기원성, 색인화 및 검색 결과의 편향 확산 가능성을 논의한다.
• LLM 및 생성적 검색에서 검증 가능성, 편향 및 안전에 관한 기존 연구를 참조한다.
• 완화 전략 및 향후 연구 방향의 가능성을 개략한다.

Figure 1: Searching controversial topics, such as abortion. (a) shows the search engine response to the query “problems with abortion” correctly citing the source. (b) shows the response to the query “problems with abo rt” mis-citing the source. Search results are from November 22, 2023.

실험 결과

연구 질문

• RQ1 LLM이 가드레일 없이 검색 엔진에 통합될 때 도입되는 신뢰성 문제는 무엇인가?
• RQ2 GenAI 구동 검색 출력은 기존 검색과 비교하여 원천 기원성 및 검증 가능성을 어떻게 다루는가?
• RQ3 GenAI 시스템은 검색 결과에서 학습 데이터에 내재된 편향을 어느 정도 증폭하는가?
• RQ4 생성형 검색의 환각 완화 및 출처 책임성을 개선하기 위한 가장 유망한 연구 방향은 무엇인가?
• RQ5 사용자 행동과 신뢰는 GenAI 기반 검색 경험에 어떻게 적응할 수 있는가?

주요 결과

• GenAI 구동 검색은 맥락적으로는 정확하지 않지만 일관된 결과와 인용 오류(hallu-citations)를 생성할 수 있다.
• Retrieval Augmented Generation (RAG)은 콘텐츠를 고정하는 데 도움을 주지만 환각을 완전히 방지하지는 못한다.
• GenAI 출력은 종종 명확한 원천을 제시하지 못하고 잘못된 또는 뒷받침되지 않는 출처를 인용할 수 있다.
• GenAI 시스템은 불확실성을 표시하는 데 주저하는 경향이 있어 자신감이 있지만 잘못된 답을 증가시킨다.
• 생성적 검색은 학습 데이터 및 모델 정렬로 인해 편향을 강화하여 결과의 다양성과 공정성에 영향을 줄 수 있다.

Figure 2: Searching for benefits of nicotine. Search results are from December 4, 2023