[논문 리뷰] Towards a Unified Multi-Dimensional Evaluator for Text Generation

Ming Zhong, Yang Liu외 7명|arXiv (Cornell University)|2022. 10. 13.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 자연어 생성(NLG) 평가를 부울 질문 응답(Yes/No 질문) 작업으로 재구성함으로써 다차원 평가를 통합한 UniEval을 제안한다. 이는 일관성, 유창성, 일관성, 관련성과 같은 여러 차원을 한 번에 평가할 수 있도록 하며, 기존 평가 지표보다 인간 평가와의 상관관계가 크게 향상된다. 요약 분야에서는 23% 향상되고 대화 응답 생성 분야에서는 43% 이상 향상된다. 또한, 새로운 평가 차원과 작업에 대해 zero-shot 일반화 능력이 뛰어나며, 인간 평가와의 유사도를 높이는 데 성공한다.

ABSTRACT

Multi-dimensional evaluation is the dominant paradigm for human evaluation in Natural Language Generation (NLG), i.e., evaluating the generated text from multiple explainable dimensions, such as coherence and fluency. However, automatic evaluation in NLG is still dominated by similarity-based metrics, and we lack a reliable framework for a more comprehensive evaluation of advanced models. In this paper, we propose a unified multi-dimensional evaluator UniEval for NLG. We re-frame NLG evaluation as a Boolean Question Answering (QA) task, and by guiding the model with different questions, we can use one evaluator to evaluate from multiple dimensions. Furthermore, thanks to the unified Boolean QA format, we are able to introduce an intermediate learning phase that enables UniEval to incorporate external knowledge from multiple related tasks and gain further improvement. Experiments on three typical NLG tasks show that UniEval correlates substantially better with human judgments than existing metrics. Specifically, compared to the top-performing unified evaluators, UniEval achieves a 23% higher correlation on text summarization, and over 43% on dialogue response generation. Also, UniEval demonstrates a strong zero-shot learning ability for unseen evaluation dimensions and tasks. Source code, data and all pre-trained evaluators are available on our GitHub repository (https://github.com/maszhongming/UniEval).

연구 동기 및 목표

• 텍스트 생성 품질 평가에서 유사도 기반 지표의 한계를 해결하기 위해.
• 일관성, 유창성, 일관성, 관련성과 같은 다차원 평가를 하나의 모델로 통합하여 평가할 수 있도록 하기 위해.
• 중간 다중작업 학습을 통해 외부 지식을 통합하여 평가의 견고성을 높이기 위해.
• 새로운 평가 차원과 NLG 작업에 대해 zero-shot 일반화를 가능하게 하기 위해.
• 포괄적인 NLG 평가를 위한 확장 가능하고 신뢰성 있으며 해석 가능한 프레임워크를 제공하기 위해.

제안 방법

• 각 평가 차원이 특정 예/아니요 질문에 해당하는 부울 질문 응답(QA) 작업으로 텍스트 생성 평가를 재구성한다.
• 일관된 평가자로서 다양한 QA 프롬프트에 대한 답변을 생성할 수 있도록 단일 T5-large 백본 모델을 사용하여 다차원 평가를 수행한다.
• 외부 지식를 통합하기 위해 네 가지 관련 작업(NLI, 감성 분류(SST), 언어학 관련 작업, 일반 QA)을 활용한 중간 다중작업 학습 단계를 도입한다.
• 각 차원에 대한 부정 예시를 시뮬레이션하기 위해 다국어 번역 및 스파닝 삭제를 활용해 생성된 합성 데이터로 모델을 훈련한다.
• 평가 점수를 인간 평가 범위(0–1)에 맞추고 인간 애너테이션 데이터로 파인튜닝하여 상관관계를 향상시킨다.
• 추가 파인튜닝 없이도 새로운 차원 전용 질문 프롬프트를 제공함으로써 zero-shot 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 통합 모델이 하나의 아키텍처로 텍스트 생성 품질의 여러 차원을 효과적으로 평가할 수 있는가?
• RQ2 중간 다중작업 학습 단계가 평가자 성능과 일반화 능력을 어떻게 향상시키는가?
• RQ3 UniEval이 zero-shot 설정에서 새로운 평가 차원과 NLG 작업에 얼마나 잘 일반화되는가?
• RQ4 기존의 유사도 기반 지표 및 통합 평가 지표와 비교해 UniEval이 인간 평가와의 상관관계에서 얼마나 우수한가?
• RQ5 각 중간 작업이 최종 평가 성능에 기여하는 정도는 어느 정도인가?

주요 결과

• UniEval은 요약 분야에서 기존 최고의 통합 평가자보다 인간 평가와의 스피어만 상관계수에서 23% 높은 성능을 기록한다.
• 대화 응답 생성 분야에서는 기존 평가 지표 대비 상관계수를 43% 이상 향상시킨다.
• UniEval은 파인튜닝 없이도 새로운 평가 차원과 작업에 대해 강력한 zero-shot 일반화 능력을 보이며, 높은 성능을 유지한다.
• 제거 실험 결과 NLI가 일관성 평가에 가장 기여하는 것으로 나타났고, 첫 문장 예측 작업은 일관성 탐지 능력을 향상시켰다.
• NLI, SST, 언어학 관련 작업, 일반 QA의 네 가지 중간 작업을 모두 조합할 경우 최고의 종합 평가 성능을 기록한다.
• 모든 작업과 차원에서 ROUGE, BERTScore, BARTScore와 같은 기존 지표보다 UniEval의 점수가 인간 애너테이션에 더욱 가깝게 유지된다.