[논문 리뷰] BARTScore: Evaluating Generated Text as Text Generation

Weizhe Yuan, Graham Neubig외 1명|arXiv (Cornell University)|2021. 06. 22.

Topic Modeling참고 문헌 67인용 수 318

한 줄 요약

BARTScore는 생성된 텍스트의 평가를 사전 학습된 seq2seq 모델(BART)을 이용한 텍스트 생성 작업으로 간주하고, 여러 방향과 관점에서 조건부 생성 확률을 통해 가설을 점수 매기며, 다양한 설정에서 기존 메트릭보다 자주 우수한 성능을 보인다.

ABSTRACT

A wide variety of NLP applications, such as machine translation, summarization, and dialog, involve text generation. One major challenge for these applications is how to evaluate whether such generated texts are actually fluent, accurate, or effective. In this work, we conceptualize the evaluation of generated text as a text generation problem, modeled using pre-trained sequence-to-sequence models. The general idea is that models trained to convert the generated text to/from a reference output or the source text will achieve higher scores when the generated text is better. We operationalize this idea using BART, an encoder-decoder based pre-trained model, and propose a metric BARTScore with a number of variants that can be flexibly applied in an unsupervised fashion to evaluation of text from different perspectives (e.g. informativeness, fluency, or factuality). BARTScore is conceptually simple and empirically effective. It can outperform existing top-scoring metrics in 16 of 22 test settings, covering evaluation of 16 datasets (e.g., machine translation, text summarization) and 7 different perspectives (e.g., informativeness, factuality). Code to calculate BARTScore is available at https://github.com/neulab/BARTScore, and we have released an interactive leaderboard for meta-evaluation at http://explainaboard.nlpedia.ai/leaderboard/task-meval/ on the ExplainaBoard platform, which allows us to interactively understand the strengths, weaknesses, and complementarity of each metric.

연구 동기 및 목표

• 생성 확률을 통해 생성된 텍스트를 평가하는 동기를 부여하고, 이를 사전 학습 목표와 더 잘 일치시키려 한다.
• 다중 평가 관점(예: 정보성, 사실성, 유창성)을 평가하기 위해 BARTScore 변형을 개발한다.
• BARTScore가 MT, 요약, 데이터-투-텍스트 데이터셋 전반에서 인간 판단과의 강한 상관관계를 달성함을 보인다.
• 프롬프트와 작업 특화 미세 조정이 지표 성능에 미치는 영향을 조사한다.

제안 방법

• BARTScore를 소스 또는 참조 텍스트가 주어졌을 때 대상 텍스트의 가중 로그 확률로 정의한다: BARTScore = sum_t w_t log p(y_t | y_<t, x, theta).
• 네 가지 평가 방향을 제공한다: s→h(충실도), r→h(정밀도), h→r(재현율), 그리고 의미적 중첩을 위한 r↔h의 결합 F-점수.
• 변형을 도입한다: vanilla BARTScore, BARTScore-CNN (요약 미세 조정), BARTScore-CNN-Para (요약 후 패러프레이즈 미세 조정), 그리고 BARTScore-Prompt (프롬프트 기반 입력/출력).
• 입력/출력에 짧은 구절을 추가하여 프롬프트 프롬팅을 적용하고 안정성을 위해 프롬프트 앙상블을 수행한다.
• 사전 학습과 평가 작업의 정렬을 위해 요약(CNNDM) 및 패러프레이즈(ParaBank2)에 대한 다운스트림 미세 조정을 탐색한다.
• 지표를 비교할 때 유의성 검정을 위해 부트스트래핑을 사용한다.

실험 결과

연구 질문

• RQ1 BARTScore가 MT, 요약, 데이터-투-텍스트 작업에서 인간 판단과 신뢰할 만큼의 상관관계를 보일 수 있는가?
• RQ2 프롬프트와 작업 지향적 미세 조정이 BARTScore의 인간 판단과의 상관관계를 개선하는가?
• RQ3 정보성, 사실성, 일관성, 유창성과 같은 관점에서 BARTScore의 성능은 기존 지표와 비교해 어떤가?
• RQ4 높은 품질 대 낮은 품질의 생성 텍스트를 평가할 때 BARTScore의 강건성과 편향 특성은 어떤가?

주요 결과

• 작업에 정렬된 미세 조정을 갖는 BARTScore 변형은 여러 언어쌍과 작업에서 상관관계를 크게 향상시킨다.
• 프롬프트를 추가하는 것(예를 들어 'Such as'와 같은 구절)은 MT 상관관계를 향상시켜 프롬프트 보강 평가의 가치를 보여준다.
• CNNDM에 대한 미세 조정은 요약에서 성능을 향상시키고, 데이터-투-텍스트 작업에서도 어느 정도 도움이 되지만, 패러프레이즈 중심의 미세 조정은 일부 시나리오에 해를 끼칠 수 있다.
• 프롬프트 앙상블은 일관되게 의미적 중첩 기반 관점(정보성, 피라미드/커버리지)을 향상시키지만, 사실성에는 혼합된 효과를 보인다.
• BARTScore는 일반적으로 참조 길이와 최상위 품질 출력에서 강건함을 보이지만, 일부 요약 데이터셋에서 추출적 시스템을 구분하는 데에는 덜 효과적이다.