[논문 리뷰] Delphic Costs and Benefits in Web Search: A utilitarian and historical analysis

Andrei Broder, Preston McAfee|arXiv (Cornell University)|2023. 08. 15.

Digital Marketing and Social MediaSocial Sciences인용 수 3

한 줄 요약

이 논문은 웹 검색에서 인지 부하, 시간, 상호작용, 오락성 정보 위험과 같은 비금전적 사용자 경험 요소인 '델피크 비용과 이익'의 개념을 도입하여 검색 엔진의 유틸리티를 종합적으로 프레임워크화한다. 이는 검색 엔진 만족도가 주로 이러한 비용을 최소화하고 이익을 극대화하는 데 기반하며, 고전적 정보검색에서 LLM 기반 챗봇에 이르기까지의 발전이 이 목표에 의해 이끌려온다고 주장한다.

ABSTRACT

We present a new framework to conceptualize and operationalize the total user experience of search, by studying the entirety of a search journey from an utilitarian point of view. Web search engines are widely perceived as "free". But search requires time and effort: in reality there are many intermingled non-monetary costs (e.g. time costs, cognitive costs, interactivity costs) and the benefits may be marred by various impairments, such as misunderstanding and misinformation. This characterization of costs and benefits appears to be inherent to the human search for information within the pursuit of some larger task: most of the costs and impairments can be identified in interactions with any web search engine, interactions with public libraries, and even in interactions with ancient oracles. To emphasize this innate connection, we call these costs and benefits Delphic, in contrast to explicitly financial costs and benefits. Our main thesis is that the users' satisfaction with a search engine mostly depends on their experience of Delphic cost and benefits, in other words on their utility. The consumer utility is correlated with classic measures of search engine quality, such as ranking, precision, recall, etc., but is not completely determined by them. To argue our thesis, we catalog the Delphic costs and benefits and show how the development of search engines over the last quarter century, from classic Information Retrieval roots to the integration of Large Language Models, was driven to a great extent by the quest of decreasing Delphic costs and increasing Delphic benefits. We hope that the Delphic costs framework will engender new ideas and new research for evaluating and improving the web experience for everyone.

연구 동기 및 목표

• 정밀도와 재현율과 같은 전통적 메트릭을 넘어서 사용자 경험의 전반적인 비용과 이익 스펙트럼을 통합함으로써 웹 검색 평가를 재구성하기.
• 사용자 유틸리티에 영향을 주는 비금전적 비용—인지, 시간, 상호작용, 개인정보, 오류(오해, 오명시, 오명, 오해, 오해, 안전성 결함)를 식별하고 분류하기.
• 고대 예언자 상담과 현대 웹 검색 사이의 역사를 비교함으로써 공통된 사용자 경험 과제를 강조하기.
• 검색 엔진의 진화, 특히 LLM 기반 챗봇의 부상이 델피크 비용을 줄이고 델피크 이익을 극대화하는 목표에 의해 어떻게 이끌려 왔는지 분석하기.
• 검색 뿐 아니라 콘텐츠 피드와 추천 시스템에도 적용 가능한 종합적이고 유틸리타리안 평가 프레임워크를 주장하기.

제안 방법

• 고대 예언자 상담에 비유를 얻어 웹 검색의 총합 사용자 경험을 모델링하기 위한 새로운 개념적 프레임워크인 '델피크 비용과 이익'을 제안.
• 델피크 비용을 액세스, 인지, 상호작용, 시간, 개인정보 거래, 장애(오해, 오명시, 오명, 오해, 오해, 안전성 결함)로 분류.
• 고전적 정보검색에서 현대 LLM 챗봇에 이르기까지 검색 엔진의 진화가 델피크 비용 감소와 이익 증대의 관점에서 분석.
• 질의 작성과 결과 처리의 노력 감소, 작업 완료 향상, 자연어 및 음성 상호작용 지원 능력에 기반해 챗봇을 평가.
• 지연 증가, 액세스 비용, 환상 위험 등 이점 상쇄 가능성을 고려한 트레이드오프 평가.
• 향후 검색 시스템 평가에서는 순수한 랭킹 품질을 넘어서 사용자 맥락, 의도, 최종 작업 완료를 통합하여 사용자 유틸리티를 우선시해야 한다고 제안.

실험 결과

연구 질문

• RQ1 인지 부하, 시간, 오락성 정보와 같은 비금전적 비용과 이익이 웹 검색에서 사용자 만족도에 어떻게 영향을 미치는가?
• RQ2 고대 예언자와 현대 검색 엔진 사이의 역사적 유사성이 정보 검색 분야의 지속적인 과제를 얼마나 명확히 드러내는가?
• RQ3 지난 25년간 검색 엔진의 발전이 델피크 비용 최소화와 델피크 이익 극대화 목표에 의해 얼마나 영향을 받았는가?
• RQ4 LLM 기반 챗봇은 전통적 검색 엔진에 비해 델피크 비용과 이익을 어떻게 줄이거나 증가시키는가?
• RQ5 델피크 비용과 이익을 기반으로 한 유틸리타리안이고 종합적인 평가 프레임워크가 정밀도와 재현율과 같은 전통적 메트릭을 대체하거나 보완할 수 있는가?

주요 결과

• 인지, 시간, 상호작용, 개인정보, 오류(오락성 정보 포함)와 같은 델피크 비용은 사용자 만족도의 핵심이며, 고대 예언자에서 현대 검색에 이르기까지 모든 시대의 정보 탐색 과정에 내재되어 있다.
• LLM 기반 챗봇의 부상은 자연어 상호작용과 종합된 응답을 통해 질의 작성과 결과 처리 비용을 크게 감소시켜 작업 완료 효율성을 향상시켰다.
• 챗봇은 특히 복잡하거나 기술적인 작업(예: 코드 생성, 서사 작성)에서 질의 구성과 결과 소비 비용을 줄여 델피크 비용을 감소시킨다.
• 이점이 있음에도 불구하고 챗봇은 지연 증가, 액세스 비용, 환상 및 오락성 정보 위험을 증가시켜 신뢰를 떨어뜨리고 검증이 필요해져 시간 절감 효과를 상쇄할 수 있다.
• 챗봇의 다듬어진 출력은 실제로 존재하지 않는 법적 사례에 대한 인용을 전문가가 수용한 사례에서 볼 수 있듯이, 오해의 여지가 있는 신뢰성의 잘못된 느낌을 줄 수 있다.
• 검색 시스템의 종합적 평가에서는 순수한 랭킹 품질을 넘어서 사용자 맥락, 작업 완료, 델피크 비용과 이익의 전반적인 스펙트럼을 포함하여 진정한 유틸리티를 반영해야 한다.