[論文レビュー] Evaluating Machines by their Real-World Language Use

Rowan Zellers, Ari Holtzman+4 more|arXiv (Cornell University)|Apr 7, 2020

Topic Modeling参考文献 55被引用数 15

ひとこと要約

本論文は、現実世界の開放的状況における役立つ助言を生成する能力を通じて言語モデルを評価することを提案する—動的で進化する評価のためのTuringAdviceとRedditAdviceデータセットを導入する。大規模なT5モデルを微調整しても、生成された助言のうちわずか9%しか人間の助けに匹敵またはそれを上回らなかった。これは、静的ベンチマークをはるかに超える、現在の言語理解における顕著なギャップを示している。

ABSTRACT

There is a fundamental gap between how humans understand and use language -- in open-ended, real-world situations -- and today's NLP benchmarks for language understanding. To narrow this gap, we propose to evaluate machines by their success at real-world language use -- which greatly expands the scope of language tasks that can be measured and studied. We introduce TuringAdvice, a new challenge for language understanding systems. Given a complex situation faced by a real person, a machine must generate helpful advice. We make our challenge concrete by introducing RedditAdvice, a dataset and leaderboard for measuring progress. Though we release a training set with 600k examples, our evaluation is dynamic, continually evolving with the language people use: models must generate helpful advice for recently-written situations. Empirical results show that today's models struggle at our task, even those with billions of parameters. The best model, a finetuned T5, writes advice that is at least as helpful as human-written advice in only 9% of cases. This low performance reveals language understanding errors that are hard to spot outside of a generative setting, showing much room for progress.

研究の動機と目的

• 人間の言語使用が現実世界の文脈においてどのように使われているか、と静的NLPベンチマークとの間のギャップが拡大しているのを是正するため。
• 現実生活における言語理解の複雑さを捉える動的で進化する評価フレームワークを構築するため。
• 固定されたタスクではなく、新規で投稿された現実世界の状況に対して役立つ助言を生成できるかどうかで言語モデルのパフォーマンスを測定するため。
• 生成的・開放的設定においてのみ顕在化する、隠れた言語理解の失敗を明らかにするため。

提案手法

• 言語モデルが複雑で現実世界の状況に対して役立つ助言を生成できるかを問う、新しいチャレンジTuringAdviceを導入する。
• 多様で開放的な人生の状況を反映する60万件の実際のReddit投稿から成るRedditAdviceデータセットを構築する。
• 新しく投稿されたRedditコンテンツを継続的に統合することで、モデルの汎化性能をテストする動的評価プロトコルを用いる。
• 訓練データ上で大規模なT5モデルを微調整し、その出力をランク付きのリーダーボード上で人間が書いた助言と比較して評価する。
• 人間のアノテーションによる役立つ度合いのスコアを用いてモデルのパフォーマンスを測定し、モデルが出力した助言と人間の回答を比較する。
• 評価を、言語使用の進化を反映させるように設計し、モデルが最新の現実世界の表現や文脈に適応できることを保証する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、現実世界の開放的状況に対して、人間が書いた助言と同等かそれ以上の役立つ助言を生成できるか？
• RQ2 助言生成におけるモデルのパフォーマンスは、標準的なNLPベンチマークにおけるパフォーマンスと比べてどうか？
• RQ3 生成的・文脈依存的な設定においてのみ顕在化する言語理解の失敗は、どのような種類のものか？
• RQ4 微調整済みモデルは、新規で投稿された最近の現実世界の状況にどの程度一般化できるか？
• RQ5 動的評価は、静的ベンチマークでは露わにならなかった制限をどのように明らかにするか？

主な発見

• 最もパフォーマンスの良いモデル、すなわち微調整済みT5は、人間が書いた助言と同等かそれ以上の役立ち度を示したのはわずか9%のケースにとどまった。
• 数十億パラメータを持つ大規模モデルですら、現実世界の助言生成において顕著に困難を抱えていることから、根本的な理解のギャップが存在することが示された。
• 分類や抽出タスクでは検出が難しい言語理解の誤りが、生成的かつ文脈依存的な設定では顕在化することが明らかになった。
• 動的評価の設定により、モデルが最近のReddit投稿に見られる新しく進化した言語パターンに一般化できないことが明らかになった。
• 低成功率は、標準的なNLPタスクをはるかに超える現実世界の言語使用をテストする新しいベンチマークの必要性を強調している。