[논문 리뷰] LaMP: When Large Language Models Meet Personalization

Alireza Salemi, Sheshera Mysore외 2명|arXiv (Cornell University)|2023. 04. 22.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 텍스트 분류 및 생성을 포함한 일곱 가지 다양한 작업을 아우르는 개인화된 언어 모델을 평가하기 위한 종합적인 벤치마크인 LaMP를 소개한다. 사용자 프로파일을 활용한 검색 기반 프ompting 기법을 제안하여 제로샷 및 파인튜닝된 LLM 성능을 향상시키며, 벤치마크 전반에서 파인튜닝 설정에서 평균 23.5%의 상대적 향상과 제로샷 설정에서 12.2%의 상대적 향상을 달성한다.

ABSTRACT

This paper highlights the importance of personalization in large language models and introduces the LaMP benchmark -- a novel benchmark for training and evaluating language models for producing personalized outputs. LaMP offers a comprehensive evaluation framework with diverse language tasks and multiple entries for each user profile. It consists of seven personalized tasks, spanning three text classification and four text generation tasks. We additionally propose two retrieval augmentation approaches that retrieve personal items from each user profile for personalizing language model outputs. To this aim, we study various retrieval models, including term matching, semantic matching, and time-aware methods. Extensive experiments on LaMP for zero-shot and fine-tuned language models demonstrate the efficacy of the proposed retrieval augmentation approach and highlight the impact of personalization in various natural language tasks.

연구 동기 및 목표

• 실제 NLP 응용 분야에서 개인화된 대규모 언어 모델(LLM)을 평가하기 위한 종합적인 벤치마크 부족 문제를 해결하기 위해.
• 사용자 기반 및 시간 기반 개인화 설정을 모두 지원하는 통합 평가 프레임워크를 개발하기 위해.
• 토큰 수준 제한을 초과하지 않으면서 사용자 프로파일을 LLM 프롬프트에 효과적으로 통합하기 위한 검색 기반 방법을 탐색하기 위해.
• 다양하고 실제 사용자 데이터를 기반으로 한 개인화된 작업에서 제로샷 및 파인튜닝된 LLM의 기준 성능을 수립하기 위해.
• 다양한 NLP 작업 전반에서 개인화를 향상시키기 위해 검색 기반 프롬프팅의 유효성을 입증하기 위해.

제안 방법

• LaMP 벤치마크는 일곱 가지 개인화된 작업을 포함한다: 세 가지 텍스트 분류 작업(논문 인용 식별, 영화 태깅, 제품 평점)과 네 가지 텍스트 생성 작업(뉴스 헤드라인, 학술 논문 제목, 이메일 제목, 트윗 복문화).
• 사용자 프로파일은 과거 입력과 승인된 출력을 포함한 역사적 사용자 상호작용으로 정의되며, 각 사용자에 대한 개인화된 맥락을 형성한다.
• 두 가지 검색 기반 프롬프팅 전략을 제안한다: 프롬프트 내 통합(In-prompt augmentation, IPA)은 프롬프트에 직접 프로파일 항목을 검색하고 삽입하는 방식이며, 디코더 통합(Fusion-in-decoder)은 디코딩 중에 프로파일 항목을 인코딩하고 통합하는 방식이다.
• 용어 매칭, 의미 매칭, 시간 기반 검색 방법을 포함한 여러 검색 모델을 평가하여 프롬프트 통합에 적합한 개인 정보 항목을 선별한다.
• 프레임워크는 사용자 기반(새로운 사용자 대상)과 시간 기반(기존 사용자의 향후 상호작용 대상)의 두 가지 데이터 분할을 지원하여 일반화 및 장기적 개인화 평가가 가능하다.
• 성능 평가는 표준 지표를 사용한다: 분류 작업에는 정확도/F1, 순서 평점에는 MAE/RMSE, 생성 작업에는 ROUGE-1/ROUGE-L을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 NLP 작업 전반에서 검색 기반 프롬프팅이 개인화된 언어 모델 성능 향상에 얼마나 효과적인가?
• RQ2 파인튜닝 대비 제로샷 프롬프팅에 검색 보강을 적용했을 때 개인화된 LLM에 미치는 상대적 영향은 어떠한가?
• RQ3 용어 매칭, 의미 매칭, 시간 기반 검색 등의 다양한 검색 전략이 개인화된 출력 품질에 미치는 영향은 어떠한가?
• RQ4 사용자 프로파일을 통합함으로써 제로샷 및 파인튜닝 설정 모두에서 모델 성능 향상이 얼마나 이루어지는가?
• RQ5 비개인화된 표준 모델들(예: SVM, BERT, BART)은 개인화된 작업에서 검색 기반 프롬프팅 LLM과 비교해 어떻게 성능을 내는가?

주요 결과

• 검색 기반 프롬프팅은 LLM 성능을 크게 향상시키며, 프로파일 검색을 통한 파인튜닝 설정에서 모든 작업 평균 23.5%의 상대적 향상을 달성한다.
• 심지어 제로샷 설정에서도 FlanT5-XXL와 같은 표준 LLM보다 평균 12.2%의 상대적 향상을 기록한다.
• 특히 트윗 복문화 및 이메일 제목 생성과 같은 생성 작업에서 디코더 통합 방식이 프롬프트 내 통합 방식보다 대부분의 작업에서 뛰어난 성능을 보인다.
• 의미 매칭 검색 모델은 복잡한 생성 작업에서 특히 두각을 나타내며, 용어 매칭 및 시간 기반 방법보다 일관되게 뛰어난 성능을 보인다.
• 비개인화된 기준 모델들인 BERT와 BART는 검색 기반 프롬프팅 LLM에 비해 성능이 열등하며, BERT는 논문 인용 식별 작업에서 정확도 0.584를 기록했고, BART는 뉴스 헤드라인 생성 작업에서 ROUGE-L 점수 0.171을 기록했다.
• 시간 기반 분할 설정은 검색 기반 프롬프팅 모델의 더 뛰어난 일반화 성능을 드러내어 향후 사용자 상호작용에 대한 더 나은 적응 능력을 보여준다.