[論文レビュー] Towards Explainable Evaluation Metrics for Natural Language Generation

Christoph Leiter, Piyawat Lertvittayakumjorn+4 more|arXiv (Cornell University)|Mar 21, 2022

Topic Modeling被引用数 12

ひとこと要約

本稿は、自然言語生成における説明可能評価指標のフレームワークを提案し、BERTScore や MoverScore のような高品質なブラックボックス指標の透明性と信頼性を向上させることに焦点を当てる。説明可能性のための重要な特性を同定し、GMASK や敵対的攻撃といった既存手法の評価を行い、現在の敵対的技術が意味を保持できないため、その有用性が制限されることを明らかにした—今後の説明可能指標には忠実性、妥当性、および同時元文・対象文分析の必要性が示された。

ABSTRACT

Unlike classical lexical overlap metrics such as BLEU, most current evaluation metrics (such as BERTScore or MoverScore) are based on black-box language models such as BERT or XLM-R. They often achieve strong correlations with human judgments, but recent research indicates that the lower-quality classical metrics remain dominant, one of the potential reasons being that their decision processes are transparent. To foster more widespread acceptance of the novel high-quality metrics, explainability thus becomes crucial. In this concept paper, we identify key properties and propose key goals of explainable machine translation evaluation metrics. We also provide a synthesizing overview over recent approaches for explainable machine translation metrics and discuss how they relate to those goals and properties. Further, we conduct own novel experiments, which (among others) find that current adversarial NLP techniques are unsuitable for automatically identifying limitations of high-quality black-box evaluation metrics, as they are not meaning-preserving. Finally, we provide a vision of future approaches to explainable evaluation metrics and their evaluation. We hope that our work can help catalyze and guide future research on explainable evaluation metrics and, mediately, also contribute to better and more transparent text generation systems.

研究の動機と目的

• BLEU や ROUGE のような低品質で意味論的でない指標が、高品質なブラックボックス指標の存在にもかかわらず、NLP研究で依然として支配的であるという問題に対処すること。
• 現代の評価指標の採用を妨げる主な障壁としての説明可能性の欠如を特定し、研究者らの不信や抵抗感を引き起こしていること。
• 説明可能評価指標が満たすべき目標と特性（忠実性、妥当性、誤差の重大度など）を体系的に定義すること。
• 局所的説明手法や敵対的攻撃技術を含む、既存の説明可能指標のアプローチを統合・評価すること。
• 単なる単語レベルの強調を越えて、テキストによる説明、同時元文・対象文分析、および自己教師ありによる指標改善を統合する、今後の説明可能指標のビジョンを提示すること。

提案手法

• 説明可能評価指標の目的と特性（忠実性、妥当性、誤差の重大度、語の対応関係など）を体系的に定義する分類法を提案する。
• NLG評価における説明可能性の既存手法を調査・分類し、類似度マップや注意に基づく強調などの局所的説明技術を含む。
• 分類タスクを想定したGMASK手法を、評価指標の回帰的スコアリングに適応し、事前に関連語を特定するメカニズムを導入する。
• 忠実性を評価するための3つの新規実験設定（AOPC、後処理精度、劣化テスト）を設計・適用し、強調された語の変更が指標スコアに与える影響を評価する。
• 指標の弱みを暴くために敵対的攻撃手法を検討し、意味の保持が前提となる有効性を要求し、その効果を評価する。
• 将来の研究方向として、同時元文・対象文分析、テキストによる説明、自己教師ありによる指標改善を統合し、解釈可能性と信頼性を高める方向を提案する。

実験結果

リサーチクエスチョン

• RQ1 自然言語生成における高品質な説明可能評価指標を定義するための特性と目的は何か？
• RQ2 Saliency マップ や GMASK などの既存の局所的説明手法は、文単位の評価指標に適用した際に、忠実性と妥当性の観点でどの程度の性能を示すか？
• RQ3 意味の保持を前提とすれば、敵対的攻撃を自動化してブラックボックス評価指標の弱みを暴くことはどの程度可能か？
• RQ4 現在の敵対的NLP技術が、高品質な指標の限界を効果的に特定できない理由は何か？自動化を制限する要因は何か？
• RQ5 説明可能で透明性があり、信頼性が高く、高リスクな応用に適した評価指標を構築するために、どのような今後の方向性が求められるか？

主な発見

• 現在の敵対的NLP技術は、意味の保持に失敗するため、高品質なブラックボックス評価指標の限界を自動的に特定するのに不適切である。
• GMASK手法は分類タスクでは高い忠実性を示すが、連続的スコアリングを特徴とする回帰的評価指標に適応する際には課題に直面する。
• 既存の説明手法は、機械翻訳における元文と対象文の対応関係を十分に考慮せず、誤解を招くまたは不完全な説明を生じがちである。
• 誤差の重大度や強調された語の妥当性が、現在の説明フレームワークで十分に考慮されておらず、診断的価値が低下している。
• 文脈や同時分析なしに個々の語だけを強調する説明は、特に複雑な翻訳シナリオでは、指標の失敗を診断するのに不十分である。
• 将来の説明可能指標は、同時元文・対象文分析を統合し、テキストによる説明をサポートし、自己教師ありによる指標改善を可能にする必要がある。これにより、より広範な信頼と採用が実現される。