[論文レビュー] Learning to Compare for Better Training and Evaluation of Open Domain Natural Language Generation Models

Wangchunshu Zhou, Ke Xu|arXiv (Cornell University)|Feb 12, 2020

Topic Modeling参考文献 28被引用数 4

ひとこと要約

本論文は、生成された応答の対比較を通じて自然言語生成（NLG）モデルを評価する自己教師あり「比較するための学習」フレームワークを提案する。このフレームワークは、BERTを微調整して人間の好みとの相関を向上させる。スキル評価システムを用いたモデルレベルの評価を可能にし、トレーニングおよび評価の両方でBLEU やパープレキシティよりも優れた性能を示す。特に、人間の好みデータが限られた状況でも顕著な効果を発揮する。

ABSTRACT

Automated evaluation of open domain natural language generation (NLG) models remains a challenge and widely used metrics such as BLEU and Perplexity can be misleading in some cases. In our paper, we propose to evaluate natural language generation models by learning to compare a pair of generated sentences by fine-tuning BERT, which has been shown to have good natural language understanding ability. We also propose to evaluate the model-level quality of NLG models with sample-level comparison results with skill rating system. While able to be trained in a fully self-supervised fashion, our model can be further fine-tuned with a little amount of human preference annotation to better imitate human judgment. In addition to evaluating trained models, we propose to apply our model as a performance indicator during training for better hyperparameter tuning and early-stopping. We evaluate our approach on both story generation and chit-chat dialogue response generation. Experimental results show that our model correlates better with human preference compared with previous automated evaluation approaches. Training with the proposed metric yields better performance in human evaluation, which further demonstrates the effectiveness of the proposed model.

研究の動機と目的

• オープンドメインNLGタスクにおける標準的指標（BLEU やパープレキシティ）が人間の判断と相関が低いという問題に対処すること。
• 人間の好みをよりよく反映する自己教師あり、転移学習に基づく自動評価手法を開発すること。
• サンプルレベルの対比較に基づくスキル評価システムを用いて、効果的なモデルレベルの評価を可能にすること。
• BLEU や他の劣悪な指標に代えて、提案された比較評価者を損失関数や評価指標として用いることで、ハイパーパramータチューニングと早期停止を改善すること。
• 高価な人間のアノテーションに依存を減らすために、弱い教師ありと限られた人間の好みデータを用いた有効な事前学習を可能にすること。

提案手法

• 2つの生成されたNLG出力のうち、どちらが優れているかを分類するため、BERTを微調整し、対比較分類ヘッドを用いる。
• 強い教師あり（ゴールドリファレンスが生成出力よりも優れているとみなす）と弱い教師あり（トレーニングステップを経てモデル品質が向上するようにする）を組み合わせて、自己教師ありの方法でモデルを学習する。
• 2つの出力が同程度に評価される場合にモデルが不確実性を表現できるように、「同点」オプションを導入する。
• ELO/Trueskillに類似したスキル評価システムを用いて、対比較の結果に基づきNLGモデルをランク付けし、効率的なモデルレベルの評価を可能にする。
• 限られた人間の好みアノテーションを用いて微調整することで、人間の判断とより一致するようにモデルを最適化する。
• 訓練中において、訓練された比較評価者を損失関数や評価指標として用い、ハイパーパramータチューニングと早期停止を支援する。

実験結果

リサーチクエスチョン

• RQ1 BERTベースの自己教師あり対比較モデルは、BLEU やパープレキシティといった従来の指標よりも人間の好みとの相関を高めることができるか？
• RQ2 提案手法を訓練の目的関数や早期停止基準として用いた場合、モデルの訓練にどの程度効果的か？
• RQ3 強い教師あり、弱い教師あり、人間の好みデータ、および同点オプションといった各コンポonentが最終的な性能に果たす寄与度は何か？
• RQ4 人間の好みアノテーションが存在しない状況でも、モデルは十分に一般化できるか？その場合、ベースラインと比較してどうか？
• RQ5 直接的な平均比較に比べて、スキル評価システムはモデルレベルの評価においてより正確で効率的であると言えるか？

主な発見

• 提案モデルは、Dailydialogデータセットにおいて人間の好みとのスピアマン相関が0.764、ピアソン相関が0.783を達成し、BLEU や他のベースラインを著しく上回った。
• 対比較機構を除去した場合（w/o comparison）は、スピアマン相関が0.491に低下し、対比較が性能向上に不可欠であることが示された。
• 同点オプションを導入することで性能が向上し、同点オプションを除外した場合の相関は0.557に低下した。これは、モデルの不確実性の表現と一般化に寄与していることを示している。
• 人間の好みアノテーションを用いた微調整が最も高い相関を達成したが、同様に、人間の好みデータなしでも0.602（スピアマン）の相関を示し、リソースが限られた環境でも有効であることが証明された。
• BERTをベースモデルとして用いることが重要である。事前学習なしで訓練した場合、スピアマン相関は0.644にとどまり、事前学習された言語理解の重要性が示された。
• 訓練中に提案された指標を用いることで、人間による評価でも優れたモデル性能が得られた。これは、ハイパーパramータチューニングと早期停止を効果的に支援できることを示している。