[論文レビュー] How to Evaluate the Next System: Automatic Dialogue Evaluation from the Perspective of Continual Learning

Li Lü, Zhongheng He+2 more|arXiv (Cornell University)|Dec 10, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本稿では、事前学習されたニューラル評価者を微調整することで、新しい対話システムに適応するが、過去の知識を忘れない継続的学習アプローチを提案する。Elastic Weight Consolidation (EWC) と Variational Continual Learning (VCL) を適用することで、完全再訓練に匹敵する性能を達成しつつ、顕著に少ないアノテーションで済み、複数の評価者を維持する必要がなくなる。これにより、長期にわたりスケーラブルで低コストかつプライバシーを守る評価が可能になる。

ABSTRACT

Automatic dialogue evaluation plays a crucial role in open-domain dialogue research. Previous works train neural networks with limited annotation for conducting automatic dialogue evaluation, which would naturally affect the evaluation fairness as dialogue systems close to the scope of training corpus would have more preference than the other ones. In this paper, we study alleviating this problem from the perspective of continual learning: given an existing neural dialogue evaluator and the next system to be evaluated, we fine-tune the learned neural evaluator by selectively forgetting/updating its parameters, to jointly fit dialogue systems have been and will be evaluated. Our motivation is to seek for a lifelong and low-cost automatic evaluation for dialogue systems, rather than to reconstruct the evaluator over and over again. Experimental results show that our continual evaluator achieves comparable performance with reconstructing new evaluators, while requires significantly lower resources.

研究の動機と目的

• 新しい対話システムの評価において、固定されたニューラル対話評価者による一般化性能の低さを是正すること。
• 各新しい対話システムに対して評価者を再訓練する際のリソースコストと保守負担を低減すること。
• 1つの評価者で過去の知識を保持しながら新しいシステムに適応できる、生涯にわたる評価を可能にすること。
• 訓練分布内のシステムに対するバイアスを最小限に抑えることで、評価の公平性を向上させること。
• 継続的学習が、少ないアノテーションで完全再訓練に匹敵する性能を達成できるかどうかを検討すること。

提案手法

• 継続的学習手法を用いて、既存のニューラル対話評価者（ADEM）を微調整し、過去の知識を忘れないように新しい対話システムに適応させる。
• Elastic Weight Consolidation (EWC) を適用し、過去の対話システムから重要なパラメータを選択的に保持しながら、新しいシステムに合わせて他のパラメータを更新する。
• Variational Continual Learning (VCL) を用いて、モデル重みのベイジアン事後分布を維持し、新しいデータで知識を段階的に更新する。
• 過去および新しい対話システムを同時に適合させる、統合された1つの評価者を維持し、再訓練の必要をなくす。
• 人間によるアノテートスコアを各新しいシステムの教師信号として用い、対話システムのシーケンスに沿って評価者を段階的に訓練する。
• 継続的学習の性能を評価するために、柔軟性（新しいシステムへの適応性）と安定性（過去の予測との一貫性）を評価する。

実験結果

リサーチクエスチョン

• RQ1 継続的学習は、元の訓練分布を超えた一般化性能を向上させることができるか？
• RQ2 評価精度とリソース効率の観点から、継続的微調整は完全再訓練に比べてどのように異なるか？
• RQ3 継続的学習は、新しい対話システムに適応しながら、過去の対話システムからの知識をどの程度保持できるか？
• RQ4 継続的学習は、新しい対話システムを評価するために必要なアノテーションコストを低減できるか？
• RQ5 継続的学習に基づく評価者は、災難的忘却を回避しながら、多様な対話システムにおいて安定した性能を維持できるか？

主な発見

• EWCおよびVCLを用いた継続的学習ベースの評価者では、次の対話システムの評価において完全再訓練に匹敵する性能を達成し、人間-システム間のスピアマン順位相関係数が0.78に達した。これは再構築法で達成された0.80に近く、非常に高い水準である。
• EWCベースの評価では、安定性が高く、過去に評価されたシステムでの精度がわずか0.055低下にとどまる一方で、柔軟性は高い水準を維持している。
• VCLベースの評価では、人間-システムでの柔軟性が0.190とEWCの0.245に比べてわずかに低く、EWCが安定性と柔軟性のバランスをより良く果たしていることが示された。
• 訓練サイズが減少するにつれ、継続的学習手法（EWCおよびVCL）の柔軟性は微細微調整よりも影響を受けにくく、人間-システムでの柔軟性は微細微調整が0.345から0.190に急低下するのに対し、継続的学習手法ではその低下が小さい。
• 継続的学習アプローチにより、アノテーションの要請が削減され、複数の評価者や大規模なアノテーションセットを維持する必要がなくなり、スケーラブルでプライバシーを守る評価が可能になった。
• 本手法は、非重要パラメータのみを段階的に更新することで、過去の対話システムからの知識を保持する形で、安定性と柔軟性のジレンマを効果的に緩和した。