[논문 리뷰] Automatic Text Evaluation through the Lens of Wasserstein Barycenters

Paolo Colombo, Guillaume Staerman외 2명|arXiv (Cornell University)|2021. 08. 27.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 Wasserstein 바리센터를 활용해 트랜스포머 레이어 간의 딥 컨텍스트 용인 임베딩을 집계하는 데 중점을 두어 기하학적 왜곡을 피하는 BERT 기반의 새로운 자동 텍스트 평가 지표인 BaryScore를 소개한다. BaryScore는 기계 번역, 요약, 이미지 캡션 생성, 데이터 텍스트 생성과 같은 네 가지 NLG 작업에서 최고 성능을 기록하며, 특히 이전의 BERT 기반 지표가 시스템 수준에서 실패하는 추상적 요약에서 뛰어난 일관성과 강건성을 보여준다.

ABSTRACT

A new metric exttt{BaryScore} to evaluate text generation based on deep contextualized embeddings e.g., BERT, Roberta, ELMo) is introduced. This metric is motivated by a new framework relying on optimal transport tools, i.e., Wasserstein distance and barycenter. By modelling the layer output of deep contextualized embeddings as a probability distribution rather than by a vector embedding; this framework provides a natural way to aggregate the different outputs through the Wasserstein space topology. In addition, it provides theoretical grounds to our metric and offers an alternative to available solutions e.g., MoverScore and BertScore). Numerical evaluation is performed on four different tasks: machine translation, summarization, data2text generation and image captioning. Our results show that exttt{BaryScore} outperforms other BERT based metrics and exhibits more consistent behaviour in particular for text summarization.

연구 동기 및 목표

• 기존 지표들인 MoverScore와 BertScore에서 사용하는 유클리드 기반 방법(예: 거듭제곱 평균)을 사용해 다중 레이어 BERT 임베딩을 집계할 때 발생하는 기하학적 비일관성을 해결하기 위해.
• 최적 운반 이론 원리를 활용해 이론적으로 탄탄하고, 하이퍼파라미터가 없는, 트랜스포머 레이어 간의 컨텍스트 용인 임베딩을 조합하는 방법을 개발하기 위해.
• Wasserstein 공간의 위상적 성질을 활용해 더 신뢰할 수 있는 의미 유사도 측정을 가능하게 하여 자연어 생성에서 자동 텍스트 평가를 향상시키기 위해.
• Wasserstein 바리센터가 BERT 기반 지표에서 레이어 선택 또는 거듭제곱 평균 집계보다 더 강건하고 일관된 집계 프레임워크를 제공하는지 입증하기 위해.
• 다양한 NLG 작업, 요약, 기계 번역, 이미지 캡션 생성, 데이터 텍스트 생성을 포함해 제안된 지표를 검증하기 위해.

제안 방법

• 각 트랜스포머 레이어의 출력을 Wasserstein 공간 내 확률 분포로 모델링하여 최적 운반 이론을 활용한 의미 비교를 가능하게 한다.
• 레이어 간 정보를 집계하기 위해 레이어별 임베딩의 Wasserstein 바리센터를 계산하며, 이는 임베딩 공간의 기하학적 구조를 유지한다.
• 기초 거리 측정으로 Wasserstein 거리를 사용하여 바리센터가 임베딩 공간의 기본 메트릭과 일관되게 집계되도록 보장한다.
• BertScore처럼 단일 레이어를 선택하거나 MoverScore처럼 거듭제곱 평균의 지수를 설정할 필요가 없기 때문에 하이퍼파라미터 튜닝이 필요 없다.
• 최종 BaryScore는 BERT, RoBERTa 또는 ELMo에서 유도된 컨텍스트 용인 임베딩을 사용해 기준 텍스트와 후보 텍스트의 바리센터 간 Wasserstein 거리로 계산된다.
• 다양한 NLG 작업에 동일하게 적용되며, 인간 평가 및 표준 기준과의 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 Wasserstein 바리센터는 텍스트 생성 평가에서 다중 레이어 컨텍스트 임베딩을 집계하는 데 더 일관되고 이론적으로 탄탄한 방법을 제공할 수 있는가?
• RQ2 제안된 BaryScore 지표는 요약, 번역, 이미지 캡션 생성 등 다양한 NLG 작업에서 인간 평가와의 상관관계 면에서 기존 BERT 기반 지표들인 BertScore와 MoverScore를 능가하는가?
• RQ3 이전 지표들이 비일관성을 보이는 상황, 예를 들어 추출적 요약 시스템에서 BaryScore는 어떻게 성능을 발휘하는가?
• RQ4 바리센터 기반 집계 방법은 최적 운반 기반 지표에서 발생하는 유클리드 집계에 의한 기하학적 왜곡을 완화할 수 있는가?
• RQ5 BaryScore는 어휘 변동성이 높은 요약 및 데이터 텍스트 생성과 같은 다양한 텍스트 생성 작업에서 강건한가?

주요 결과

• BaryScore는 XSum 요약 데이터셋에서 인간 평가와 가장 높은 상관관계를 기록하며, 특히 이전 지표가 실패하는 시스템 수준에서 BertScore와 MoverScore를 능가한다.
• WebNLG2020 데이터 텍스트 생성 작업에서 BaryScore는 9개 구성 중 6개에서 최고 성능을 기록하여 뛰어난 성능과 일관성을 입증한다.
• MSCOCO 데이터셋에서의 이미지 캡션 생성 작업에서 BaryScore는 LEIC를 제외한 모든 BERT 기반 지표를 능가하며, 시각-언어 작업에서의 효과성을 확인한다.
• BaryScore는 텍스트 수준과 시스템 수준 평가 모두에서 높은 일관성을 유지한다. 반면 BertScore와 MoverScore는 추출적 요약에서 시스템 수준에서 성능 붕괴 현상을 보이다.
• WebNLG 작업에서 정확성에 대한 인간 평가와의 피어슨 상관계수는 0.917이며, ρ = 0.900, τ = 0.783으로 나타나 인간 평가와 강력한 일치를 보인다.
• 추가 정규화를 적용한 BaryScore +는 모든 작업에서 경쟁적인 성능을 기록하며, 강건성과 일반화 가능성을 보여준다.