[논문 리뷰] Towards Explainable Evaluation Metrics for Natural Language Generation

Christoph Leiter, Piyawat Lertvittayakumjorn외 4명|arXiv (Cornell University)|2022. 03. 21.

Topic Modeling인용 수 12

한 줄 요약

이 논문은 자연어 생성(NLG)에서 설명 가능하고 투명한 평가 지표를 위한 프레임워크를 제안하며, BERTScore나 MoverScore와 같은 고품질의 블랙박스 지표의 투명성과 신뢰도를 향상시키는 데 초점을 맞춘다. 설명 가능성에 필요한 핵심 성질을 규명하고, GMASK 및 악성 공격 기법과 같은 기존 방법을 평가한 결과, 현재의 악성 공격 기법은 의미를 유지하지 못해 유용성이 제한됨을 확인하였다. 이는 향후 설명 가능한 지표에서 신뢰성, 타당성, 그리고 병렬 소스-타겟 분석이 필수적임을 시사한다.

ABSTRACT

Unlike classical lexical overlap metrics such as BLEU, most current evaluation metrics (such as BERTScore or MoverScore) are based on black-box language models such as BERT or XLM-R. They often achieve strong correlations with human judgments, but recent research indicates that the lower-quality classical metrics remain dominant, one of the potential reasons being that their decision processes are transparent. To foster more widespread acceptance of the novel high-quality metrics, explainability thus becomes crucial. In this concept paper, we identify key properties and propose key goals of explainable machine translation evaluation metrics. We also provide a synthesizing overview over recent approaches for explainable machine translation metrics and discuss how they relate to those goals and properties. Further, we conduct own novel experiments, which (among others) find that current adversarial NLP techniques are unsuitable for automatically identifying limitations of high-quality black-box evaluation metrics, as they are not meaning-preserving. Finally, we provide a vision of future approaches to explainable evaluation metrics and their evaluation. We hope that our work can help catalyze and guide future research on explainable evaluation metrics and, mediately, also contribute to better and more transparent text generation systems.

연구 동기 및 목표

• 고품질의 블랙박스 지표가 존재하는 바에도 불구하고, BLEU나 ROUGE와 같은 저품질의 비의미론적 지표가 여전히 NLP 연구에서 지배적인 위치를 차지하고 있는 문제를 해결한다.
• 현대 평가 지표의 보편적 채택을 저해하는 주요 장벽으로서 설명 가능성의 부족을 규명하며, 연구자들 사이의 불신과 수용을 위한 저항을 설명한다.
• 신뢰성, 타당성, 오류 심각도, 단어 대응성과 같은 성질을 포함해, 설명 가능한 평가 지표가 충족해야 할 목표와 성질을 체계적으로 정의한다.
• 지표의 설명 가능성에 관한 기존 접근법을 통합하고 평가하며, 국소적 설명 기법과 악성 공격 기법을 포함한다.
• 단어 수준의 강조를 넘어서 텍스트 기반 설명, 병렬 소스-타겟 분석, 비지도 개선 기능을 포함하는 미래의 설명 가능한 지표에 대한 비전을 제시한다.

제안 방법

• 신뢰성, 타당성, 오류 심각도 및 단어 대응성과 같은 성질을 중심으로 설명 가능한 평가 지표의 목표와 성질에 대한 분류 체계를 제안한다.
• NLG 평가에서의 설명 가능성에 관한 기존 방법을 조사하고 분류하며, 특히 샐런시 맵 및 주의 기반 강조와 같은 국소적 설명 기법을 포함한다.
• 원래 분류 작업을 위한 것이었던 GMASK 방법을 평가 지표의 회귀 유사 스코링에 적응시켜, 소스 문장과 타겟 문장에서 관련 단어를 사전 선별하는 메커니즘을 도입한다.
• 신뢰성 평가를 위해 AOPC, 사후 정확도, 그리고 파급 테스트를 포함한 세 가지 새로운 실험 설정을 설계하고 적용하여, 강조된 단어의 변화가 지표 스코어에 미치는 영향을 분석한다.
• 지표 평가를 위한 악성 공격 기법을 조사하며, 유효성을 확보하기 위해 의미 유지가 필수적임을 확인하고, 지표의 약점을 드러내는 데 효과적인지 테스트한다.
• 향후 연구 방향으로 병렬 소스-타겟 분석, 텍스트 기반 설명, 비지도 지표 개선 기능을 통합하여 해석 가능성과 신뢰성을 향상시키는 방향을 제안한다.

실험 결과

연구 질문

• RQ1 자연어 생성을 위한 고품질의 설명 가능한 평가 지표를 정의하는 데 필요한 성질과 목표는 무엇인가?
• RQ2 문장 수준의 평가 지표에 적용했을 때, 기존의 국소적 설명 기법(예: 샐런시 맵, GMASK)이 신뢰성과 타당성 측면에서 어떻게 성능을 보이는가?
• RQ3 의미 유지 조건을 충족시키는 조건에서, 악성 공격 기법을 자동화하여 고품질의 블랙박스 평가 지표의 약점을 드러내는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 현재의 악성 NLP 기법들이 고품질 지표의 한계를 효과적으로 파악하지 못하는 이유는 무엇이며, 그 자동화를 제한하는 요건은 무엇인가?
• RQ5 고위험 응용 분야에 적합한 투명하고 신뢰할 수 있는 설명 가능한 평가 지표를 구축하기 위해 필요한 향후 연구 방향은 무엇인가?

주요 결과

• 현재의 악성 NLP 기법은 의미 유지 조건을 충족하지 못함으로써, 고품질의 블랙박스 평가 지표의 한계를 자동으로 파악하는 데 부적합하다.
• GMASK 방법은 분류 작업에서는 뛰어난 신뢰성을 보이지만, 연속적인 스코링 특성을 지닌 회귀 유사 평가 지표에 적용할 경우 어려움을 겪는다.
• 기존의 설명 기법은 기계 번역에서 소스 문장과 타겟 문장 간의 대응 관계를 고려하지 못해 잘못된 또는 불완전한 설명을 초래할 수 있다.
• 현재의 설명 프레임워크에서는 오류의 심각도와 강조된 단어의 타당성이 충분히 고려되지 않아 진단적 가치가 떨어진다.
• 맥락 없이 또는 병렬 분석 없이 개별 단어만 강조하는 설명은 복잡한 번역 시나리오에서 지표 실패를 진단하는 데에는 부족하다.
• 미래의 설명 가능한 지표는 병렬 소스-타겟 분석, 텍스트 기반 설명, 비지도 지표 개선 기능을 통합하여 보다 넓은 신뢰도와 수용성을 확보해야 한다.