[논문 리뷰] Advancing the Search Frontier with AI Agents

Ryen W. White|arXiv (Cornell University)|2023. 11. 02.

AI-based Problem Solving and Planning인용 수 5

한 줄 요약

이 논문은 자연어 이해, 작업 모델링, 다단계 추론을 통합함으로써 복잡한 검색 작업을 향상시키는 데 혁신적인 역할을 하는 AI 코파일럿을 제안한다. 생성형 AI를 활용하여 코파일럿은 작업 계층의 전반적인 지원—맥로작업, 하위작업, 행동—을 가능하게 하여, 정의되지 않은, 다중 세션에 걸친, 인지적으로 부담스러운 질의에 특히 유리하다.

ABSTRACT

As many of us in the information retrieval (IR) research community know and appreciate, search is far from being a solved problem. Millions of people struggle with tasks on search engines every day. Often, their struggles relate to the intrinsic complexity of their task and the failure of search systems to fully understand the task and serve relevant results. The task motivates the search, creating the gap/problematic situation that searchers attempt to bridge/resolve and drives search behavior as they work through different task facets. Complex search tasks require more than support for rudimentary fact finding or re-finding. Research on methods to support complex tasks includes work on generating query and website suggestions, personalizing and contextualizing search, and developing new search experiences, including those that span time and space. The recent emergence of generative artificial intelligence (AI) and the arrival of assistive agents, based on this technology, has the potential to offer further assistance to searchers, especially those engaged in complex tasks. There are profound implications from these advances for the design of intelligent systems and for the future of search itself. This article, based on a keynote by the author at the 2023 ACM SIGIR Conference, explores these issues and how AI agents are advancing the frontier of search system capabilities, with a special focus on information interaction and complex task completion.

연구 동기 및 목표

• 기존 검색 엔진이 작업 복잡성과 시스템 이해 부족으로 해결하지 못하는 지속적인 복잡한 검색 과제를 해결한다.
• AI 코파일럿이 시간, 기기, 애플리케이션을 넘어서 다단계이자 정의되지 않은 과제를 어떻게 모델링하고 지원할 수 있는지 탐색한다.
• 맥로작업, 하위작업, 행동을 표현하기 위해 작업 트리 프레임워크를 개발하여 시스템 모델링과 사용자 지원을 향상시킨다.
• 코파일럿을 생산성 및 웹 생태계에 통합하여 원활하고 맥락 인식 기반의 보조 기능을 가능하게 한다.
• 검증 가능성, 효율성, 책임감 있는 AI 관행을 통해 AI 코파일럿 배포의 신뢰성, 프라이버시, 지속 가능성 확보

제안 방법

• 맥로작업(고수준 목표), 하위작업(구성 요소), 행동(사용자 단계)로 구성된 계층적 작업 트리로 복잡한 작업을 표현한다.
• 대규모 언어 모델(Large Language Models, LLMs)을 활용해 자연어 이해를 수행하고 사용자 목표를 해석하고 작업 인식 응답을 생성한다.
• 대화 기반의 다단계 대화를 통해 쿼리와 세션 간의 작업 진행 상황을 추적함으로써 코파일럿 상호작용을 가능하게 한다.
• 브라우저 및 생산성 도구와 같은 애플리케이션에 코파일럿을 통합하여 맥락 인식 능력을 활용하고 관련성을 향상시킨다.
• LLMs를 활용해 작업 예측, 분해, 인식을 지원하여 사용자 필요를 예측하고 다음 단계 제안을 가능하게 한다.
• 비용과 탄소 배출을 줄이기 위해 프라이버시를 보장하고 효율적인 추론 파이프라인을 설계한다.

Figure 1. Task tree representation for a complex task involving planning a vacation to Paris, France. The tree depicts different task granularities (macrotask, subtask, action) and different task applications (decomposition, prediction, recognition) as moves around the tree. Time progresses from lef

실험 결과

연구 질문

• RQ1 기존 검색 엔진이 해결하지 못하는 복잡하고 다단계적인 검색 과제의 완료를 AI 코파일럿이 어떻게 향상시킬 수 있는가?
• RQ2 작업 트리(작업 트리)를 통한 작업 모델링이 복잡한 검색 행동을 이해하고 지원하는 데 어떤 역할을 하는가?
• RQ3 애플리케이션과 기기 간에 코파일럿을 효과적으로 통합하여 종단 간 작업 실행을 지원하는 방법은 무엇인가?
• RQ4 대규모 AI 코파일럿을 배포할 때 발생하는 경제적 및 지속 가능성 도전 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ5 성능을 저하시키지 않으면서도 신뢰성, 검증 가능성, 사용자 통제를 유지하기 위한 방법은 무엇인가?

주요 결과

• 웹 검색의 절반 이상이 아직 해결되지 않은 채로 남아 있으며, 주로 현재 검색 시스템이 지원하지 못하는 복잡하고 정의되지 않은 과제들 때문이다.
• AI 코파일럿은 자연어 이해 및 생성을 통해 매크로작업과 하위작업 지원을 가능하게 하여 과제의 범위를 크게 확장한다.
• 작업 트리는 복잡한 검색 과제를 모델링하기 위한 체계적인 프레임워크를 제공하며, 여러 쿼리와 세션에 걸쳐 진행 상황을 추적하고 지원할 수 있도록 한다.
• 브라우저와 생산성 도구에 코파일럿을 통합함으로써 맥락 인식 보조 기능이 가능해져 관련성과 과제 완료율이 향상된다.
• 대규모 모델 추론은 비용이 많이 들고 환경에 영향을 미치므로, 확장성과 지속 가능성 확보를 위해 모델 전문화와 적응형 계산이 필요하다.
• 신뢰성과 검증 가능성은 핵심적이다. 사용자가 코파일럿 출력을 검증할 수 있어야 '재사용의 역설'을 방지하고 콘텐츠 품질 및 창작자 지속 가능성 확보가 가능하다.

Figure 2. Microsoft’s copilot stack depicting the various layers and the important role of AI safety across the stack.