[논문 리뷰] Automated Evaluation of Personalized Text Generation using Large Language Models

Yaqing Wang, Jiepu Jiang외 5명|arXiv (Cornell University)|2023. 10. 17.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 인간이 수작업으로 작성한 참조 자료에 의존하지 않고, 개인화, 품질, 관련성의 세 가지 핵심 차원을 평가하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용하는 새로운 자동 평가 프레임워크인 AuPEL을 제안한다. AuPEL은 인간 평가자와 기존의 BLEU 및 ROUGE와 같은 전통적 지표들보다 정확도, 일관성, 민감도 면에서 뛰어나며, 특히 어휘 유사성 이상의 미묘한 개인화 요소를 탐지하는 데서 두각을 나타낸다.

ABSTRACT

Personalized text generation presents a specialized mechanism for delivering content that is specific to a user's personal context. While the research progress in this area has been rapid, evaluation still presents a challenge. Traditional automated metrics such as BLEU and ROUGE primarily measure lexical similarity to human-written references, and are not able to distinguish personalization from other subtle semantic aspects, thus falling short of capturing the nuances of personalized generated content quality. On the other hand, human judgments are costly to obtain, especially in the realm of personalized evaluation. Inspired by these challenges, we explore the use of large language models (LLMs) for evaluating personalized text generation, and examine their ability to understand nuanced user context. We present AuPEL, a novel evaluation method that distills three major semantic aspects of the generated text: personalization, quality and relevance, and automatically measures these aspects. To validate the effectiveness of AuPEL, we design carefully controlled experiments and compare the accuracy of the evaluation judgments made by LLMs versus that of judgements made by human annotators, and conduct rigorous analyses of the consistency and sensitivity of the proposed metric. We find that, compared to existing evaluation metrics, AuPEL not only distinguishes and ranks models based on their personalization abilities more accurately, but also presents commendable consistency and efficiency for this task. Our work suggests that using LLMs as the evaluators of personalized text generation is superior to traditional text similarity metrics, even though interesting new challenges still remain.

연구 동기 및 목표

• 비용이 많이 들고 수작업으로 작성된 參照 자료에 의존하지 않는 강력한 자동 평가 방법의 부족을 해결하기 위해.
• 기존의 BLEU나 ROUGE와 같은 지표들이 포착하지 못하는 바, 개인화와 일반적인 품질 및 관련성의 차이를 식별할 수 있는 프레임워크를 개발하기 위해.
• 인간 평가자와 비교했을 때 LLM이 개인화 텍스트 생성을 평가하는 데 있어 신뢰할 수 있고 일관되며 민감한 평가자로 기능할 수 있는지 평가하기 위해.
• 통제된 실험과 다양한 모델 크기 및 사용자 프로파일 간의 쌍대 비교를 통해 LLM 기반 평가의 효과성을 검증하기 위해.

제안 방법

• AuPEL은 대규모 언어 모델을 평가자로 활용하여 개인화, 품질, 관련성의 세 차원에서 두 텍스트 생성 시스템 간의 쌍대 비교를 수행한다.
• LLM 평가자는 각 차원에서 더 나은 텍스트를 선택하도록 유도되며, 그 이유를 함께 제시한다.
• 이 프레임워크는 사용자 고유의 맥락, 즉 개인화된 어휘, 어조, 글쓰기 스타일, 개인적 관점 등을 이해할 수 있는 LLM의 능력에 의존한다.
• 평가 결과는 에이로(Elo) 랭킹 시스템을 통해 집계되어, 다양한 모델 간의 객관적이고 견고한 비교 기준을 제공한다.
• 이 방법은 參照 자료가 없이도 작동하도록 설계되어, 개인화 환경에서는 자주 확보되지 않는 인간이 작성한 참조 자료에 대한 의존도를 피한다.
• 개인화와 관련성의 차원이 서로 다를 수 있음을 확인하기 위해 통제된 아블레이션 연구가 수행되었다.

Figure 1 . Agreement between evaluators and assumed truth (GOLD ¿ XXL ¿ XL) at test case level; error bars represent 95% confidence intervals. AuPEL is more accurate than human raters and traditional NLG metrics.

실험 결과

연구 질문

• RQ1 LLM은 인간이 수작업으로 작성한 참조 자료에 의존하지 않고도 개인화 텍스트 생성을 정확하게 평가할 수 있는가?
• RQ2 LLM 평가자와 인간 평가자 간의 개인화, 품질, 관련성 평가 성능를 비교했을 때 어떤 차이가 있는가?
• RQ3 LLM 평가자의 크기가 개인화의 미묘한 차이를 감지하는 데 영향을 미치는가?
• RQ4 AuPEL은 모델 크기, 사용자 프로파일, 생성 맥락의 차이가 있는 모델들을 높은 민감도와 일관성으로 구분할 수 있는가?

주요 결과

• LLM 평가자는 사용자가 작성한 텍스트와 모델이 생성한 텍스트의 저자 특정을 90%의 정확도로 수행했으며, 인간 평가자(약 70%)보다 뛰어난 성능을 보였다.
• AuPEL은 인간이 작성한 참조 자료와의 일치도가 인간 평가자보다 높아, 개인화 평가의 정확도가 뛰어나다는 것을 시사한다.
• 더 큰 LLM 평가자(PaLM 2-IT-L)는 더 작은 모델(PaLM 2-IT-S)보다 개인화 평가에서 유의미하게 뛰어난 성능을 보였으며, 이는 쌍대 비교에서 30% 이상의 동점(타이)를 기록한 반면, 작은 모델은 그렇지 못했다.
• AuPEL은 소수의 테스트 케이스로도 거의 완벽한 일관성과 민감도를 확보했으며, 인간의 수작업 참조 자료가 필요하지도 않았다.
• 아블레이션 연구를 통해 관련성과 개인화가 서로 분리 가능하고 측정 가능한 차원임을 입증했으며, 개인화와 일반적인 품질 및 관련성의 차이를 성공적으로 분리했다.
• AuPEL의 에이로 랭킹은 모델 크기나 사용자 프로파일의 차이에 더 민감하게 반응하는 객관적이고 견고한 비교 기준을 제공했으며, 기존의 지표보다 뛰어난 성능을 보였다.

Figure 2 . Estimated consistency of AuPEL , human raters, and NLG metrics for comparing T5 XL vs. T5 XXL generators.