[논문 리뷰] Integrating Summarization and Retrieval for Enhanced Personalization via Large Language Models

Chris Richardson, Yao Zhang외 6명|arXiv (Cornell University)|2023. 10. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 LLM이 생성한 사용자 요약을 활용하여 NLP 시스템의 개인화를 향상시키고 실시간 검색에 의존도를 줄이는 요약 증강 검색 프레임워크를 제안한다. 사전에 작업에 맞는 요약을 생성함으로써, 검색 전용 기준 대비 75% 적은 검색 데이터를 사용하면서도 동등하거나 더 뛰어난 성능을 달성하며, 특히 신규 사용자 시나리오와 저지연 응용 프로그램(예: 음성 보조 기능)에 유리하다.

ABSTRACT

Personalization, the ability to tailor a system to individual users, is an essential factor in user experience with natural language processing (NLP) systems. With the emergence of Large Language Models (LLMs), a key question is how to leverage these models to better personalize user experiences. To personalize a language model's output, a straightforward approach is to incorporate past user data into the language model prompt, but this approach can result in lengthy inputs exceeding limitations on input length and incurring latency and cost issues. Existing approaches tackle such challenges by selectively extracting relevant user data (i.e. selective retrieval) to construct a prompt for downstream tasks. However, retrieval-based methods are limited by potential information loss, lack of more profound user understanding, and cold-start challenges. To overcome these limitations, we propose a novel summary-augmented approach by extending retrieval-augmented personalization with task-aware user summaries generated by LLMs. The summaries can be generated and stored offline, enabling real-world systems with runtime constraints like voice assistants to leverage the power of LLMs. Experiments show our method with 75% less of retrieved user data is on-par or outperforms retrieval augmentation on most tasks in the LaMP personalization benchmark. We demonstrate that offline summarization via LLMs and runtime retrieval enables better performance for personalization on a range of tasks under practical constraints.

연구 동기 및 목표

• 검색 기반 개인화의 한계, 즉 정보 손실, 얕은 사용자 이해, 콜드 스타트 문제를 해결한다.
• 입력 길이 및 지연 제약을 극복하기 위해 사용자 데이터 요약을 사전 처리로 이관한다.
• 낮은 데이터 또는 새로운 사용자 시나리오에서 고수준의 작업 인식 요약을 활용해 개인화 성능을 향상시킨다.
• 음성 보조 기능과 같은 실시간 저지연 응용 프로그램이 사전 계산된 요약을 통해 LLM의 능력을 활용할 수 있도록 한다.
• 요약이 다양한 NLP 작업에서 대규모 검색에 대한 의존도를 줄이되 성능을 손상시키지 않는다는 것을 입증한다.

제안 방법

• 사용자 역사를 기반으로 하여 대규모 언어 모델(LM, 예: Vicuna, GPT-3.5)을 사용해 사전에 작업에 맞는 사용자 요약을 생성한다.
• 이러한 요약을 지연이 적은 검색이 가능한 지식 기반에 저장한다.
• 추론 시 검색된 사용자 데이터와 사전 계산된 요약을 모두 활용하여 검색 증강 생성을 보완한다.
• 하류 작업에 따라 관련 요소(예: 글쓰기 스타일, 선호 사항)에 집중하도록 요약 모델을 안내하는 프롬프트 엔지니어링 전략을 사용한다.
• 추론 시점에 요약과 검색을 통합하여 모델이 고수준 개괄과 구체적 데이터 포인트 모두에 접근할 수 있도록 한다.
• LaMP 벤치마크에서 다양한 검색 및 요약 설정을 고려해 FlanT5-base 모델을 미세조정하여 분류 및 생성 작업 전반의 성능을 평가한다.

Figure 1. Personalization is achieved by combining runtime-retrieved samples with an offline-generated user summary. Given a textual input $x$ that describes a task in natural language, the goal is to generate a personalized output $y$ for users. The retrieval model identifies the most relevant item

실험 결과

연구 질문

• RQ1 LLM이 생성한 사용자 요약이 개인화 NLP 작업에서 실시간 검색의 필요성을 효과적으로 대체하거나 줄일 수 있는가?
• RQ2 사전 요약 처리가 검색 전용 방법에 비해 낮은 데이터 또는 콜드 스타트 사용자 시나리오에서 성능을 얼마나 향상시키는가?
• RQ3 요약 모델의 품질(예: GPT-3.5 대비 Vicuna)이 하류 개인화 성능에 어떤 영향을 미치는가?
• RQ4 검색과 요약의 하이브리드 접근 방식이 입력 길이와 추론 비용을 줄이면서도 정확도를 유지하거나 향상시킬 수 있는가?
• RQ5 검색이 비활성화된 상황에서 어떤 작업에서 요약이 성능 우위를 제공하는가?

주요 결과

• GPT-3.5가 생성한 요약을 사용한 제안된 방법은 LaMP-1(정확도: 0.743 대비 0.709)과 LaMP-2(정확도: 0.814 대비 0.807)에서 검색 전용 기준(k=4)을 능가했으며, 더 적은 데이터로 더 뛰어난 성능을 달성했다.
• LaMP 벤치마크의 여섯 가지 작업 중 다섯 곳에서, 검색 전용 기준 대비 동등하거나 더 뛰어난 성능을 달성하면서도 검색된 사용자 데이터의 75%를 줄였다.
• LaMP-1에서만 사전 요약을 사용한 방법(k=0)은 검색 전용 기준(k=4)의 정확도 0.709를 뛰어넘어 정확도 0.738을 기록했으며, 이는 희박한 데이터 시나리오에서의 효과성을 입증한다.
• GPT-3.5가 생성한 요약은 Vicuna가 생성한 요약보다 일관되게 뛰어난 성능을 보였으며, 이는 모델 크기와 추론 품질의 차이 때문일 것이다.
• 기준 대비 통계적으로 유의미한 향상(p < 0.05)을 LaMP-1과 LaMP-2에서 기록하여 다양한 작업에서의 강건성을 입증했다.
• LaMP-4 및 LaMP-5와 같은 작업에서는 최소한의 검색으로도 성능을 유지하거나 약간 향상시켰으며, 이는 고품질 요약이 광범위한 검색을 대체할 수 있음을 보여준다.