[논문 리뷰] The Use of Generative Search Engines for Knowledge Work and Complex Tasks

Siddharth Suri, Scott Counts외 12명|arXiv (Cornell University)|2024. 03. 19.

Semantic Web and Ontologies인용 수 5

한 줄 요약

논문은 생성형 검색 엔진(Bing Copilot)이 지식 노동과 복잡한 작업에 어떻게 사용되는지 실증적으로 분석하고, 전통적 검색에 비해 작업의 인지적 복잡성이 더 높음을 보여준다.

ABSTRACT

Until recently, search engines were the predominant method for people to access online information. The recent emergence of large language models (LLMs) has given machines new capabilities such as the ability to generate new digital artifacts like text, images, code etc., resulting in a new tool, a generative search engine, which combines the capabilities of LLMs with a traditional search engine. Through the empirical analysis of Bing Copilot (Bing Chat), one of the first publicly available generative search engines, we analyze the types and complexity of tasks that people use Bing Copilot for compared to Bing Search. Findings indicate that people use the generative search engine for more knowledge work tasks that are higher in cognitive complexity than were commonly done with a traditional search engine.

연구 동기 및 목표

• 지식 노동과 복잡한 작업에서 생성형 검색 엔진이 전통적 검색을 보완하거나 대체하는 방식을 이해하도록 동기를 부여한다.
• 생성형 검색 엔진과 전통적 검색 엔진을 각각 사용할 때 사용자가 수행하는 작업 유형을 특성화한다.
• 생성형 검색 엔진이 가능하게 하는 지식 노동의 인지적 복잡성과 특성을 평가한다.
• 생성형 검색 도구의 설계, 사용 및 거버넌스를 안내하기 위한 실증적 통찰을 제공한다.

제안 방법

• 생성형 검색 엔진인 Bing Copilot과 Bing Search의 실증 분석.
• 두 시스템 간의 작업 유형 및 인지적 복잡성 비교.
• 지식 노동과 단순 검색 작업을 구분하기 위해 사용자 상호작용 데이터 및 작업 분류를 포함한 분석일 가능성이 있다.
• 결과가 산물이나 해결책을 산출하는 방식에 대한 기술 통계 및 정성적 관찰.

실험 결과

연구 질문

• RQ1 생성형 검색 엔진을 사용할 때 사용자는 어떤 종류의 작업을 수행하는가? 전통적 검색 엔진과 비교하여.
• RQ2 생성형 검색 엔진이 지식 노동에서 전통적 검색 엔진보다 더 높은 인지적 복잡성의 작업을 지원하는가?
• RQ3 지식 노동과 복잡한 작업에 대한 생성형 검색 엔진 사용의 함의는 무엇인가?
• RQ4 실제 작업에서 사용자는 생성형 검색 엔진의 출력과 어떻게 상호 작용하고 이를 활용하는가?

주요 결과

• 생성형 검색 엔진은 전통적 검색으로 일반적으로 수행되는 것보다 인지적 복잡성이 높은 지식 노동 과제에 사용된다.
• 사용자는 생성된 산물과 합성 정보를 활용하여 복잡한 문제 해결을 지원한다.
• 이 연구는 생성형 검색 엔진이 지식 노동에서 가치를 더하는 작업 종류에 대한 실증적 근거를 제공한다.