[論文レビュー] PONE: A Novel Automatic Evaluation Metric for Open-Domain Generative Dialogue Systems

Tian Lan, Xian-Ling Mao+3 more|arXiv (Cornell University)|Apr 6, 2020

Topic Modeling参考文献 28被引用数 16

ひとこと要約

この論文では、データ拡張を用いたポジティブサンプルと重み付きネガティブサンプリング戦略を用いることで、人間の評価との相関を向上させる、新しい学習ベースの自動評価指標PONEを提案する。PONEは、最先端の手法Bert-RUBERと比較して平均13.18%の相関向上を達成し、文の自然さ、一貫性、会話への関与の観点で、人間評価との優れた整合性を示している。

ABSTRACT

Open-domain generative dialogue systems have attracted considerable attention over the past few years. Currently, how to automatically evaluate them, is still a big challenge problem. As far as we know, there are three kinds of automatic methods to evaluate the open-domain generative dialogue systems: (1) Word-overlap-based metrics; (2) Embedding-based metrics; (3) Learning-based metrics. Due to the lack of systematic comparison, it is not clear which kind of metrics are more effective. In this paper, we will first measure systematically all kinds of automatic evaluation metrics over the same experimental setting to check which kind is best. Through extensive experiments, the learning-based metrics are demonstrated that they are the most effective evaluation metrics for open-domain generative dialogue systems. Moreover, we observe that nearly all learning-based metrics depend on the negative sampling mechanism, which obtains an extremely imbalanced and low-quality dataset to train a score model. In order to address this issue, we propose a novel and feasible learning-based metric that can significantly improve the correlation with human judgments by using augmented POsitive samples and valuable NEgative samples, called PONE. Extensive experiments demonstrate that our proposed evaluation method significantly outperforms the state-of-the-art learning-based evaluation methods, with an average correlation improvement of 13.18%. In addition, we have publicly released the codes of our proposed method and state-of-the-art baselines.

研究の動機と目的

• オープンドメイン対話システムの評価において、語のオーバーラップベース、埋め込みベース、学習ベースの指標の有効性を体系的に比較すること。
• 既存の学習ベースの指標の限界、特に不均衡で低品質なネガティブサンプルに依存している点を特定すること。
• データ品質の向上と意思決定境界の学習を改善することで、モデル性能を向上させる新しい学習ベースの指標PONEを提案すること。
• 複数のベンチマークで提案手法を検証し、最先端のベースラインよりも優れた性能を示すこと。

提案手法

• PONEは、特にEDAおよびSeq2Seqベースの手法を用いたデータ拡張技術を採用し、高品質なポジティブサンプルを生成するとともに、クラスの不均衡を軽減する。
• 情報量が多く、識別が難しいネガティブサンプルを優先的に選択する重み付きネガティブサンプリング戦略を導入し、意思決定境界の学習を改善する。
• 拡張されたポジティブサンプルのノイズを低減するために、新しい反復的ラベルフィルタアルゴリズムを適用し、学習データの品質を向上させる。
• 最適なパフォーマンスを得るために、調整されたハイパーパrameterを用いて、拡張されたポジティブサンプルと戦略的に選択されたネガティブサンプルの組み合わせでスコアモデルを訓練する。
• 温度に基づくサンプリング戦略を統合し、生成されるポジティブサンプルの数（k）を制御することで、多様性と品質のバランスを取る。
• 反復的リファインメントプロセスを用いて、拡張データのノイズを軽減し、モデルの汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 オープンドメイン対話システムにおいて、語のオーバーラップベース、埋め込みベース、学習ベースの自動評価指標のうち、どれが人間の評価と最も相関しているか？
• RQ2 特にネガティブサンプルの品質とバランスが、学習ベースの評価指標のパフォーマンスにどのように影響するか？
• RQ3 ポジティブサンプルのデータ拡張と知的なネガティブサンプリングは、対話評価におけるスコアモデルの意思決定境界を改善できるか？
• RQ4 PONEは、BERT-RUBER や BERTScore といった既存の最先端の学習ベースの指標よりも、人間評価との相関でどの程度優れているか？
• RQ5 PONEの構成要素であるポジティブデータジェネレータ、重み付きネガティブサンプリング、ラベルフィルタは、個別および総合的にどのようにパフォーマンス向上に寄与しているか？

主な発見

• PONEは、複数のデータセットと評価次元において、最先端の指標Bert-RUBERと比較して平均13.18%の相関向上を達成した。
• 体系的な比較により、学習ベースの指標が語のオーバーラップベースや埋め込みベースの指標よりも、人間の評価と著しく高い整合性を示すことがわかった。
• Seq2Seqベースのデータ拡張をポジティブサンプルに適用した場合、EDAよりも優れたパフォーマンスが得られた。これは、より高品質な生成サンプルが、より良い指標学習をもたらすことを示している。
• 重み付きネガティブサンプリング戦略は、より情報量の多いネガティブ例を選択することで、パフォーマンスを著しく向上させ、低品質なサンプルの影響を軽減した。
• ラベルフィルタアルゴリズムは、拡張されたポジティブサンプルのノイズを効果的に低減し、あらゆる設定で一貫したパフォーマンス向上をもたらした。
• PONEのパフォーマンスは、特に単一対話設定において、平均的人間評価水準に非常に近づき、人間評価との強い整合性を示している。