[논문 리뷰] Query Understanding in the Age of Large Language Models

Avishek Anand, V Venktesh외 2명|arXiv (Cornell University)|2023. 06. 28.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 기존의 다중 구성 요소 쿼리 이해 파이프라인을 대체하기 위해 단일의 통합형 LLM을 사용하여 완전히 명시된 자연어 기계 의도를 생성하는 LLM 기반의 인터랙티브 쿼리 재작성 프레임워크를 제안한다. 이 프레임워크는 사용자가 기계가 자신의 의도를 어떻게 해석하는지 편집하고 개선할 수 있도록 하여 투명성, 제어 가능성, 사용자 제어를 향상시키며, 의도의 정확도를 높이고 쿼리 재작성 오버헤드를 감소시킨다.

ABSTRACT

Querying, conversing, and controlling search and information-seeking interfaces using natural language are fast becoming ubiquitous with the rise and adoption of large-language models (LLM). In this position paper, we describe a generic framework for interactive query-rewriting using LLMs. Our proposal aims to unfold new opportunities for improved and transparent intent understanding while building high-performance retrieval systems using LLMs. A key aspect of our framework is the ability of the rewriter to fully specify the machine intent by the search engine in natural language that can be further refined, controlled, and edited before the final retrieval phase. The ability to present, interact, and reason over the underlying machine intent in natural language has profound implications on transparency, ranking performance, and a departure from the traditional way in which supervised signals were collected for understanding intents. We detail the concept, backed by initial experiments, along with open questions for this interactive query understanding framework.

연구 동기 및 목표

• 사용자가 시스템이 자신의 의도를 어떻게 이해하는지 시각화하거나 편집할 수 없는 기존의 쿼리 이해 파이프라인에서의 투명성 부족과 사용자 제어 부족 문제를 해결하기 위해.
• 기계가 생성한 의도를 자연어로 저비용으로 인터랙티브하게 탐색할 수 있도록 하여 불필요한 쿼리 재작성 횟수를 최소화하기 위해.
• 사용자가 기계의 의도 표현과 직접적으로 해석 가능하고 편집 가능한 방식으로 상호작용할 수 있도록 하여 피드백 데이터의 품질과 신뢰성을 향상시키기 위해.
• 직접 피드백(예: 사용자 편집)과 간접 피드백(예: 클릭 스트림 행동) 신호를 통합하여 재작성기와 랭커를 종합 최적화하기 위해.
• 전통적인 정보 검색 시스템을 재정의하기 위해 검색 파이프라인의 핵심에 설명 가능하고 제어 가능하며 충실한 의도 표현을 통합하기 위해.

제안 방법

• 기존의 다중 구성 요소 쿼리 이해(예: 철자 검사, 확장, 분류)를 대체하기 위해 사용자 의도에 대한 기계의 이해를 자연어로 기술하는 단일 LLM 기반 쿼리 재작성기로 전환한다.
• 사용자의 정보 필요를 충실하고 타당하게 반영하는 완전히 명시된 자연어 문장으로 기계의 의도를 표현한다.
• 생성된 기계의 의도를 편집할 수 있도록 인터랙티브한 편집 기능을 제공하여 사용자가 검색 이전에 시스템의 이해를 보완하거나 수정할 수 있도록 한다.
• 세 가지 상호작용 경로를 지원한다: 커밋(의도 수락), 편집(의도를 그 자리에서 수정), 탐색/개선(의도를 반복적으로 개선하여 더 나은 일치도 확보).
• 직접 피드백(예: 사용자 편집)과 간접 피드백(예: 클릭 스트림 행동)을 통합하여 재작성기와 랭커의 종단 간 최적화를 위한 공동 학습 프레임워크를 구현한다.
• 데이터 증강 및 검색 기반 데이터 선택 기법을 활용하여, 제한된 고품질 데이터로 재작성기를 훈련할 때 발생하는 쿨스타트 문제를 해결한다.

실험 결과

연구 질문

• RQ1 LLM 기반 쿼리 재작성은 기존의 투명성 부족인 블랙박스 파이프라인 대비 검색 시스템에서 의도 이해의 투명성과 제어 가능성에 어떻게 기여하는가?
• RQ2 편집 가능한 자연어 기계 의도와 효과적으로 상호작용할 수 있도록 지원하는 최적의 설계 패턴과 사용자 인터페이스 패러다임은 무엇인가?
• RQ3 직접 피드백 및 간접 피드백 신호를 효과적으로 통합하여 쿼리 재작성기의 성능을 향상시키고 후속 검색 성능을 개선할 수 있는가?
• RQ4 특히 데이터가 부족하거나 노이즈가 많은 상황에서 높은 의도 커버리지와 다양성을 확보하기 위한 전략은 무엇인가?
• RQ5 사용자 상호작용 데이터를 어떻게 활용하여 컨텍스트 기반 인식 또는 소형 모델 미세조정을 통해 쿼리 재작성기를 개인화할 수 있는가?

주요 결과

• 초기 실험 결과, LLM을 활용해 모호한 쿼리에 대해 타당하고 충실한 자연어 재작성 생성이 가능함을 입증하였다.
• 이 프레임워크는 사용자가 기계의 의도 이해를 직접 상호작용하고 편집할 수 있도록 하여 더 큰 제어력을 확보하고 반복적인 쿼리 재작성에 대한 의존도를 감소시켰다.
• 자연어 기반 기계의 의도 표현은 해석 가능성과 설명 가능한 정보 검색을 향상시켜 시스템의 추론 과정을 추적 가능하게 한다.
• 직접 피드백 및 간접 피드백 신호를 통합하여 재작성기와 랭커를 공동으로 학습하면 더 나은 재작성 품질과 랭킹 성능 향상을 기대할 수 있다.
• 데이터 증강 및 검색 기반 데이터 선택 기법은 의도 커버리지 향상과 재작성기 훈련 시 쿨스타트 문제를 크게 감소시킬 수 있다.
• 사용자 프로파일 또는 미세조정된 소형 모델을 통한 개인화 전략은 사용자 특정 맥락에서 재작성기 성능 향상에 유망한 가능성을 보였다.