[論文レビュー] CohEval: Benchmarking Coherence Models

Tasnim Mohiuddin, Prathyusha Jwalapuram+2 more|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 32被引用数 7

ひとこと要約

本稿では、合成文の順序付けタスクと3つの下流応用分野—機械翻訳、要約、次の発話予測—における一貫性モデルの評価を目的としたベンチマーク、CohEvalを紹介する。合成タスクのパフォーマンスと現実世界の一貫性効果性との間には弱い相関が見られ、評価プロトコルの改善が求められることを示しており、一貫性モデリング研究の前進を促すために公開リーダーボードの構築に繋がった。

ABSTRACT

Although coherence modeling has come a long way in developing novel models, their evaluation on downstream applications has largely been neglected. With the advancements made by neural approaches in applications such as machine translation, text summarization and dialogue systems, the need for standard coherence evaluation is now more crucial than ever. In this paper, we propose to benchmark coherence models on a number of synthetic and downstream tasks. In particular, we evaluate well-known traditional and neural coherence models on sentence ordering tasks, and also on three downstream applications including coherence evaluation for machine translation, summarization and next utterance prediction. We also show model produced rankings for pre-trained language model outputs as another use-case. Our results demonstrate a weak correlation between the model performances in the synthetic tasks and the downstream applications, motivating alternate evaluation methods for coherence models. This work has led us to create a leaderboard to foster further research in coherence modeling.

研究の動機と目的

• NLP応用分野における一貫性モデルの標準化された評価の欠如に対処すること。
• 合成的一貫性タスクにおけるパフォーマンスが、現実世界の下流応用に一般化されるかどうかを調査すること。
• 多様なNLPタスクにわたる一貫性モデルの評価を可能にする包括的なベンチマークの開発。
• 現在の評価手法の欠陥を特定し、より信頼性の高いモデル評価を促進すること。

提案手法

• 合成文の順序付けタスクと現実世界の下流応用分野を組み合わせたベンチマークフレームワークの提案。
• 従来のモデルとニューラルモデルの両方を、合成タスクおよび応用固有のタスクで評価。
• 事前学習済み言語モデル出力の順序付けをモデルが生成する順位を評価する追加のユースケースとして活用。
• 複数の評価設定におけるモデルパフォーマンスを収集・分析し、合成タスクと下流タスクの結果を比較。
• 一貫性モデリング分野における進捗を追跡・促進するための公開リーダーボードの構築。

実験結果

リサーチクエスチョン

• RQ1 合成文の順序付けタスクで訓練された一貫性モデルは、現実世界のNLP応用にどの程度一般化されるか？
• RQ2 合成的一貫性タスクのパフォーマンスと、下流的一貫性評価タスクのパフォーマンスとの相関は何か？
• RQ3 事前学習済み言語モデル出力の順序付けをモデルが生成する順位は、一貫性の評価信号として妥当か？
• RQ4 現在の評価手法は、実用的状況下での生成テキストの一貫性品質を適切に反映しているか？

主な発見

• モデルの合成文の順序付けタスクにおけるパフォーマンスと、下流的一貫性応用におけるパフォーマンスとの間に弱い相関が存在する。
• 合成タスクで良好なパフォーマンスを示すモデルは、機械翻訳や要約などの現実世界のタスクではしばしば劣る。
• この乖離は、合成ベンチマークのみでは一貫性モデルの評価に不十分であることを示唆している。
• 提案されたベンチマークは、現在の評価手法における顕著なギャップを明らかにし、代替の評価戦略の必要性を示している。
• 本ベンチマークに基づく公開リーダーボードの構築は、一貫性モデリング分野におけるイノベーションと標準化を促進すると期待される。