[논문 리뷰] Teach LLMs to Personalize -- An Approach inspired by Writing Education

Cheng Li, Mingyang Zhang외 5명|arXiv (Cornell University)|2023. 08. 15.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 글쓰기 교육에 영감을 받아 대규모 언어 모델(Large Language Models, LLMs)의 개인화된 텍스트 생성을 가르치기 위한 다단계, 다작업 프레임워크를 제안한다. 검색, 순위 매기기, 요약, 융합, 생성으로 분해된 과정과 함께, 저자 특정성 할당을 통한 독해력 향상을 위한 다작업 목표를 통해, 세 가지 다양한 데이터셋에서 뚜렷한 성능 향상을 달성하였으며, 개인화 품질 측면에서 강력한 베이스라인을 능가한다.

ABSTRACT

Personalized text generation is an emerging research area that has attracted much attention in recent years. Most studies in this direction focus on a particular domain by designing bespoke features or models. In this work, we propose a general approach for personalized text generation using large language models (LLMs). Inspired by the practice of writing education, we develop a multistage and multitask framework to teach LLMs for personalized generation. In writing instruction, the task of writing from sources is often decomposed into multiple steps that involve finding, evaluating, summarizing, synthesizing, and integrating information. Analogously, our approach to personalized text generation consists of multiple stages: retrieval, ranking, summarization, synthesis, and generation. In addition, we introduce a multitask setting that helps the model improve its generation ability further, which is inspired by the observation in education that a student's reading proficiency and writing ability are often correlated. We evaluate our approach on three public datasets, each of which covers a different and representative domain. Our results show significant improvements over a variety of baselines.

연구 동기 및 목표

• 도메인 특화 모델을 초월하는 일반 목적의 개인화된 텍스트 생성 접근법을 개발하기 위해.
• 이전 사용자 글과 같은 보조 개인적 맥락을 사용하여 LLM이 콘텐츠를 개인화하는 데 있어 여전히 존재하는 격차를 해결하기 위해.
• 글쓰기 지도의 교육적 순서인 찾기, 평가하기, 요약하기, 융합하기, 쓰기의 모방을 통해 LLM의 생성 능력을 향상시키기 위해.
• 저자 특정성 할당 작업을 도입하여 독해력과 작문 능력 간의 상관관계를 탐색하기 위해.
• 이마에일, 소셜 미디어, 제품 리뷰를 포함한 다양한 도메인에서 프레임워크의 실증적 검증을 수행하기 위해.

제안 방법

• 프레임워크는 개인화된 생성을 다섯 단계로 분해한다: 관련 개인적 맥락 검색, 관련성 순위 매기기, 상위 결과 요약, 핵심 요소 융합, 최종 생성.
• 모델은 문서 쌍에서 텍스트 생성과 저자 특정성 할당을 동시에 수행하는 다중 작업 학습 설정을 도입하여 독해력(이해 능력)을 향상시킨다.
• 모델은 검색, 순위 매기기, 요약, 융합된 정보를 맥락으로 사용하여 개인화된 텍스트를 생성하며, 생성 단계는 이전 단계들에 조건부로 설정된다.
• 저자 특정성 예측 작업은 모델이 개인 문서의 스타일 및 콘텐츠 패턴을 해석하고 내재화하는 데 능력을 향상시키기 위해 설계되었다.
• 이 방법은 이마일, 소셜 미디어, 제품 리뷰를 포함한 세 가지 공개 데이터셋에서 종합적으로 훈련되며, 구성 요소 기여도를 분리하기 위한 추론 실험을 수행한다.
• 프레임워크는 LLM의 few-shot 및 few-shot 미세조정 능력을 활용하여 최소한의 작업 특화 엔지니어링으로 새로운 개인화 작업에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 글쓰기 교육에 영감을 받은 다단계 프레임워크가 LLM의 개인화된 텍스트 생성을 향상시킬 수 있는가?
• RQ2 저자 특정성 할당을 통한 독해력 향상이 LLM의 작문(생성) 성능 향상에 기여하는가?
• RQ3 다양한 도메인에서 다단계 파이프라인은 종단 간 베이스라인 대비 개인화 품질 측면에서 어떻게 비교되는가?
• RQ4 입력에 문서의 초기 맥락을 포함시키는 것이 생성 성능에 어떤 영향을 미치는가?
• RQ5 소스 정보의 순서를 재배치하거나 제거하면 성능이 떨어지는가, 그리고 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• 제안된 다단계, 다작업 프레임워크는 이마일, 소셜 미디어, 제품 리뷰를 포함한 세 가지 공개 데이터셋에서 여러 강력한 베이스라인을 뛰어넘는 뚜렷한 성능 향상을 달성하였다.
• 저자 특정성 할당을 포함한 다중 작업 설정은 일관되게 생성 품질을 향상시켜, LLM에서 독해력과 작문 능력 간의 긍정적 상관관계를 입증하였다.
• 추론 실험 결과, 문서의 시작 부분(초기 맥락)을 제거하면 성능이 떨어지며, 이는 작업 이해도 향상과 더 빠른 수렴에 유용함을 시사한다.
• 검색, 순위 매기기, 요약, 융합, 생성 단계가 모두 활성화된 경우 모델이 가장 우수한 성능을 보였으며, NoRankedEntries의 경우 성능 저하가 심각하여 구조화된 맥락에 의존하고 있음을 보여주었다.
• 융합 구성 요소는 핵심 주제(예: '개발자'와 '고객')에 집중함으로써 더 관련성 있고 개인화된 응답을 가능하게 하여 생성 품질을 향상시켰다.
• 저자 특정성 예측 작업은 사용자 스타일을 더 잘 이해하도록 도와주어, 사례 연구에서 고수준의 리뷰 패턴을 더 정확하게 포착함으로써 더 정확하고 개인화된 콘텐츠를 생성하도록 했다.