[논문 리뷰] SMART: Sentences as Basic Units for Text Evaluation

Reinald Kim Amplayo, Peter J. Liu외 2명|arXiv (Cornell University)|2022. 08. 01.

Topic Modeling인용 수 5

한 줄 요약

SMART는 문장을 토큰이 아닌 기본 단위로 간주하여 후보문장, 기준문장, 소스문장을 비교하는 소프트 매칭 함수(문자열 기반 또는 모델 기반)를 사용하는 새로운 텍스트 평가 지표이다. SummEval 벤치마크에서 일관성, 사실성, 유창성, 정보성의 네 가지 요건에 대해 인간 평가와의 상관관계에서 최신 기술 수준을 달성하며, ROUGE와 BARTScore를 능가한다. 특히 긴 요약문에서나 모델 편향이 감소한 경우에 뛰어난 성능을 보인다.

ABSTRACT

Widely used evaluation metrics for text generation either do not work well with longer texts or fail to evaluate all aspects of text quality. In this paper, we introduce a new metric called SMART to mitigate such limitations. Specifically, We treat sentences as basic units of matching instead of tokens, and use a sentence matching function to soft-match candidate and reference sentences. Candidate sentences are also compared to sentences in the source documents to allow grounding (e.g., factuality) evaluation. Our results show that system-level correlations of our proposed metric with a model-based matching function outperforms all competing metrics on the SummEval summarization meta-evaluation dataset, while the same metric with a string-based matching function is competitive with current model-based metrics. The latter does not use any neural model, which is useful during model development phases where resources can be limited and fast evaluation is required. Finally, we also conducted extensive analyses showing that our proposed metrics work well with longer summaries and are less biased towards specific models.

연구 동기 및 목표

• 기존 텍스트 평가 지표의 한계를 해결하기 위해, 특히 장문에 대한 성능이 열악하고 소스 문서에 기반하지 않는 점을 개선한다.
• 특히 동일한 아키텍처로 미세조정된 모델을 선호하는 BARTScore와 같은 모델 기반 지표에서의 편향을 줄이기 위해 노력한다.
• 모델 개발 중에 신경망 기반 지표의 성능을 손상시키지 않은 채 빠르고 경량의 대안을 제공한다.
• 개념적 요약 및 장문 질문 응답과 같은 장문 및 다중 문장 텍스트 출력의 견고한 평가를 가능하게 한다.
• 다국어 BERT 및 CHRF와 같은 다국어 모델과의 통합을 통해 다국어 평가를 지원한다.

제안 방법

• SMART는 ROUGE와 BLEU에서 사용하는 토큰 수준의 매칭 대신 문장을 매칭의 기본 단위로 간주한다.
• 문장 쌍에 대해 0에서 1 사이의 점수를 반환하는 소프트 매칭 함수를 사용하여 정확한 일치가 없더라도 의미 유사성을 측정할 수 있다.
• 두 가지 변형을 지원한다: SMART-[1|2|L]-BLEURT(모델 기반, BERT 기반 임베딩 사용) 및 SMART-[1|2|L]-CHRF(문자열 기반, 문자 n-그램 F-스코어 사용).
• 소스 문서의 문장을 평가에 통합하여 사실성 및 근거 제시 평가를 가능하게 하여 사실성 평가를 향상시킨다.
• 매칭 점수를 계산하기 위해 문장 수준의 n-그램 겹침과 최장 공통 부분수열(LCS)을 사용하여 문장 재정렬에 대한 강건성을 향상시킨다.
• 새로운 매칭 함수나 다중 소스 입력 지원 기능을 향후 확장하기 위해 도구 키트를 제공한다.

실험 결과

연구 질문

• RQ1 문장 수준의 소프트 매칭은 토큰 수준의 매칭에 비해 텍스트 생성의 자동 평가를 향상시킬 수 있는가?
• RQ2 소스 문서의 문장을 평가에 통합하면 사실성 및 근거 제시 평가가 향상되는가?
• RQ3 SMART는 요약 길이가 길어질수록 ROUGE와 BARTScore에 비해 어떻게 성능을 발휘하는가? 특히 인간 평가와의 시스템 수준 상관관계 측면에서 어떻게 되는가?
• RQ4 특히 신경망 기반 매칭 함수를 사용할 경우, SMART는 특정 모델에 대해 어느 정도 편향을 보이는가?
• RQ5 신경망 기반 지표에 비해 경쟁적인 성능을 내면서도 모델 개발 중에 신속한 평가가 가능한 문자열 기반 비신경망 변형의 SMART는 가능한가?

주요 결과

• BLEURT 소프트 매칭 함수를 사용한 SMART는 SummEval 데이터셋에서 일관성, 사실성, 유창성, 정보성의 네 가지 품질 차원에 대해 인간 평가와의 시스템 수준 텐던드-타우 상관관계가 가장 높았다.
• 문자열 기반 변형인 SMART-[1|2|L]-CHRF는 인간 평가와의 경쟁 가능한 상관관계를 확보하여 모델 개발 중 신속한 평가에 적합하다.
• 요약 길이가 길어질수록 SMART는 ROUGE와 BARTScore를 능가하는 시스템 수준 상관관계를 보이며, 장문 텍스트에 대한 우수한 확장성을 입증했다.
• SMART-[1|2|L]-BLEURT는 인간 평가와의 순위 차이 표준편차가 가장 낮고, 가장 높은 쌍별 순위 정확도를 보이며, 평가된 모든 지표 중에서 가장 편향이 적은 것으로 나타났다.
• BARTScore와 달리, SMART는 추출적 요약 모델과 BART 모델 자체에 대해 편향이 감소한 것으로 나타났다.
• BLEURT와 CHRF가 모두 형태가 복잡하고 다국어 텍스트를 지원하도록 설계되어 있어, SMART는 다국어 평가에 효과적이다.