[論文レビュー] NUBIA: NeUral Based Interchangeability Assessor for Text Generation

Hassan Kané, Muhammed Yusuf Kocyigit+3 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques参考文献 28被引用数 36

ひとこと要約

NUBIAは、トランスフォーマー由来の特徴とアグリゲータおよびキャリブレータを組み合わせて人間の判断を予測する、ニューラル特徴ベースの学習済み評価指標を提案します。機械翻訳と画像キャプション評価のベンチマークで強い相関を達成します。

ABSTRACT

We present NUBIA, a methodology to build automatic evaluation metrics for text generation using only machine learning models as core components. A typical NUBIA model is composed of three modules: a neural feature extractor, an aggregator and a calibrator. We demonstrate an implementation of NUBIA which outperforms metrics currently used to evaluate machine translation, summaries and slightly exceeds/matches state of the art metrics on correlation with human judgement on the WMT segment-level Direct Assessment task, sentence-level ranking and image captioning evaluation. The model implemented is modular, explainable and set to continuously improve over time.

研究の動機と目的

• BLEU/ROUGEを超え、テキスト生成の学習済みでドメイン統一された評価指標へと進む動機。
• ニューラル表現の進展を活用できるモジュール式で説明可能な指標を開発する。
• 機械翻訳と画像キャプションのタスクで人手判断との強い相関を示す。
• より良い特徴とアグリゲータによって指標が時間とともに改善できることを示す。

提案手法

• Three-module architecture: ニューラル特徴抽出器、アグリゲータ、キャリブレータ。
• ニューラル特徴には、意味的類似性（STS-Bでファインチューニングした RoBERTa）、論理推論（MNLI ファインチューニング）、文の読みやすさ（GPT-2 perplexity）を含む。
• アグリゲータは特徴を品質スコアへ写像する回帰モデル（線形またはニューラルネットワーク）。ニューラルアグリゲータのバリアントは 6 または 8 の入力特徴を用い、10 層の隠れ層と tanh 活性化を持つ。
• キャリブレータは出力を [0,1] に制限し、自己比較によるスコア正規化で自己一貫性を確保する。
• 訓練にはWMTデータ（2015–2017）を用い、評価はWMT 2017–2019およびFlickr 8Kの画像キャプションで行う。
• 実験はBLEU、ROUGE、BERTScore、YiSi、RUSEなどと比較し、適切に Pearson または Kendall’s Tau を用いる。
• アブレーション研究により、意味的類似性特徴が最も重要であること、MNLIおよびGPT-2特徴を追加することでさらなる改善が得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 neural feature-based architectureの設計はMTと画像キャプショニングのタスクを横断して評価を統一できるか？
• RQ2 transformer由来の特徴は伝統的なn-gramベース指標より人間の判断と強い相関を示すか？
• RQ3 個々の特徴（意味的類似性、論理推論、文の可読性）の人間スコア予測への寄与度はどれくらいか？
• RQ4 提案指標は標準ベンチマークで人間判断との相関で最先端を達成できるか？
• RQ5 アプローチは言語とデータセットを横断して頑健かつキャリブレーションと自己一貫性をどう扱うか？

主な発見

• NUBIA-8DIM-NN and NUBIA-8DIM-LREGはMT17–MT19ベンチマークで人間判断と非常に高い絶対相関を達成し、しばしばBLEU、ROUGE、いくつかのニューラルベースラインを上回る。
• Flickr 8Kの画像キャプションでは、NUBIAバリアントはBLEU、ROUGE-L、METEOR、CIDEr、SPICEといった伝統的指標を上回る Kendall’s Tau 相関を示し、報告された設定で最高の性能に達した。
• アブレーションは RoBERTa の意味的類似性を最も重要な特徴として示し、MNLI と GPT-2 ベースの特徴を加えるとさらなる改善が得られる。
• この手法は MT18 のセグメントレベルランキングで最先端の結果を出し、MT19でも競争力のある結果を示し、タスク横断の適用性を示す。
• アーキテクチャはモジュール化され説明可能で、より良い意味的類似性、一貫性、言語モデリング特徴が出現するにつれて継続的な改善の可能性を備える。