[논문 리뷰] BERTScore: Evaluating Text Generation with BERT

Tianyi Zhang, Varsha Kishore외 3명|arXiv (Cornell University)|2019. 04. 21.

Topic Modeling참고 문헌 86인용 수 2,019

한 줄 요약

BERTScore는 토큰 수준 컨텍스트 임베딩(BERT 및 친구들)을 사용하여 탐욕적 토큰 매칭으로 정밀도, 재현율, F1을 계산하고 생성된 텍스트를 평가합니다. 이는 전통적 n-그램 지표보다 인간 판단과의 상관관계가 더 높고, 적대적 패러프레이즈에 강인합니다. MT와 이미지 캡션 태스크에서 다양한 시스템에 대해 시연됩니다.

ABSTRACT

We propose BERTScore, an automatic evaluation metric for text generation. Analogously to common metrics, BERTScore computes a similarity score for each token in the candidate sentence with each token in the reference sentence. However, instead of exact matches, we compute token similarity using contextual embeddings. We evaluate using the outputs of 363 machine translation and image captioning systems. BERTScore correlates better with human judgments and provides stronger model selection performance than existing metrics. Finally, we use an adversarial paraphrase detection task to show that BERTScore is more robust to challenging examples when compared to existing metrics.

연구 동기 및 목표

• 표면 형식 유사성 너머의 텍스트 생성 자동 평가를 고무한다.
• 사전 학습된 맥락 임베딩을 이용한 토큰 수준의 맥락 인식 유사도 메트릭을 제안한다.
• 기계 번역과 이미지 캡션 작성에서 BERTScore를 평가하여 인간 판단과의 상관관계 및 모델 선택 능력을 평가한다.
• 성능에 대한 idf 가중치와 다양한 맥락 모델의 효과를 조사한다.
• 메트릭의 실용적 사용법과 강건성에 관한 지침을 제공한다.

제안 방법

• 토큰을 사전 학습된 모델의 맥락 임베딩으로 표현한다(주로 BERT이며 RoBERTa, XLNet, XLM 변형 포함).
• 쌍별 토큰 코사인 유사도를 계산하고 탐욕적 매칭을 이용해 재현율과 정밀도를 구성한다.
• 정밀도와 재현율을 F1 점수로 결합하여 BERTScore를 정의한다.
• 정보량이 많은 단어를 강조하기 위해 토큰에 대해 idf 기반 가중치를 선택적으로 적용한다.
• 랭킹에 영향을 주지 않으면서 해석성을 높이기 위한 임계치 b를 무작위 Common Crawl 문장 쌍으로 계산해 점수를 재스케일링한다.
• MT(WMT18)와 이미지 캡션(COCO) 전반에 걸쳐 평가하고 표준 Baseline과 비교하며 모델 선택 실험을 수행한다.

실험 결과

연구 질문

• RQ1 MT와 이미지 캡션에서 시스템 및 세그먼트 수준에서 BERTScore가 인간 판단과 얼마나 잘 상관하는가?
• RQ2 맥락 임베딩 기반의 토큰 매칭이 n-그램 및 임베딩 기반 베이스라인에 비해 이점을 제공하는가?
• RQ3 idf 가중치와 다양한 맥락 모델이 BERTScore 성능에 미치는 영향은?
• RQ4 MT 작업에서 모델 선택 및 순위 매김에 BERTScore를 효과적으로 사용할 수 있는가?
• RQ5 다른 지표와 비교했을 때 BERTScore의 적대적 패러프레이즈 예제에 대한 강건성은 어느 정도인가?

주요 결과

• BERTScore는 인간 판단과 높은 상관관계를 보이며 일반적으로 Bleu와 같은 전통 지표 및 다른 베이스라인을 능가하는 경우가 많다, MT 언어쌍과 방향에 걸쳐.
• F1 기반 BERTScore는 일반적으로 다양한 설정에서 신뢰할 만한 성능을 제공하여 추천 기본값이다.
• idf 가중치는 일부 상황에서 미미한 이점을 제공하지만 도메인과 언어에 따라 이점이 다르므로 전반적으로는 가중치를 적용하지 않거나 선택적으로 적용하는 것이 좋다.
• BERTScore는 WMT18 하이브리드 시스템 실험에서 모델 선택 성능이 강하게 나타나며 보통 다른 지표들 중 상위에 랭크된다.
• 이미지 캡션에서 BERTScore는 작업 비특정 지표를 능가하고 표면 형식 지표가 떨어지는 곳에서도 강건하며 idf가 현저한 이점을 보인다.
• 적대적 패러프레이즈 데이터셋(PAWS QQP)에 대한 강건성 분석에서 BERTScore는 다른 지표들보다 성능 저하가 덜 나타나 더 큰 강건성을 보임을 시사한다.