[論文レビュー] "Going on a vacation" takes longer than "Going for a walk": A Study of Temporal Commonsense Understanding

Ben Zhou, Daniel Khashabi+2 more|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 36被引用数 9

ひとこと要約

本稿では、時間的常識理解の評価を目的としたクラウドソーシングデータセットMcTacoを紹介する。本研究では、持続時間、時間的順序、一般的な時間、頻度、定常性の5つの次元に注目している。McTaco上でBERTや他のモデルを用いた実験の結果、最新のモデルでさえ人間の性能に大きく劣っており、F1スコアは69.9%、EMスコアは42.7%であるのに対し、人間の性能はF1スコア87.1%、EMスコア75.8%に達しており、時間的推論能力における顕著な格差が浮き彫りになっている。

ABSTRACT

Understanding time is crucial for understanding events expressed in natural language. Because people rarely say the obvious, it is often necessary to have commonsense knowledge about various temporal aspects of events, such as duration, frequency, and temporal order. However, this important problem has so far received limited attention. This paper systematically studies this temporal commonsense problem. Specifically, we define five classes of temporal commonsense, and use crowdsourcing to develop a new dataset, MCTACO, that serves as a test set for this task. We find that the best current methods used on MCTACO are still far behind human performance, by about 20%, and discuss several directions for improvement. We hope that the new dataset and our study here can foster more future research on this topic.

研究の動機と目的

• 自然言語理解における時間的常識の複数の次元に関する性能を体系的かつ定量的に調査すること。
• 時間的常識に焦点を当てた統一された評価フレームワークと高品質なデータセットの不足に取り組むこと。これは、その重要性にもかかわらず、これまであまり注目されていなかった分野である。
• 多様な時間的常識現象を高品質なアノテーションで捉える、強固なクラウドソーシングデータセット（McTaco）を構築すること。
• 最新のNLPモデル（例：BERTやESIM）がこの新しいベンチマーク上でどのように性能を発揮するかを評価し、現在の限界を特定すること。
• 既存のモデルが時間的意味論における人間水準の理解に遠く及ばないことを示すことで、今後の研究を促進すること。

提案手法

• 本研究では、時間的常識の5つのカテゴリーを定義する：持続時間、時間的順序、一般的な時間、頻度、定常性。それぞれのカテゴリーは、イベントに関する異なる種類の推論を要する。
• McTacoは、多様な時間的推論タイプをカバーする高品質で一貫性のあるアノテーションを確保するための詳細なガイドラインを伴ってクラウドソーシングで構築された。
• タスクは二値分類として定式化されており、人間の常識に基づいて候補となる回答が妥当かどうかを判断する。複数の正解が許容される。
• ベースラインモデルには、GloVeおよびELMo埋め込みを用いたESIM、および単位正規化を適用・非適用したBERTが含まれる。これにより、数値的時間表現の処理が可能になる。
• 性能評価は、ホールドアウトされたテストセット上でF1スコアと正確一致（EM）スコアを用い、比較のための人的性能はサブセットで評価された。
• 分析には、各カテゴリーごとの性能分解が含まれており、特に数値的時間単位の処理や範囲推論におけるモデルの弱みを特定することを目的としている。

実験結果

リサーチクエスチョン

• RQ1 現在の最先端NLPモデルは、持続時間、頻度、順序など、多様な時間的常識現象をどれほど正しく理解できているか？
• RQ2 事前学習された言語モデル（例：BERT）は、表面的な共起性を越えて、洗練された時間的推論をどれほど捉えられるか？
• RQ3 既存のモデルが、特に数値的時間表現に関して時間的常識を推論する際に見られる主な失敗モードは何か？
• RQ4 モデルの性能は、時間的常識の種類によってどのように変動するか？また、これによりモデルの背後にある推論能力に関する何が明らかになるか？
• RQ5 単位正規化は、数値的値を含む時間的常識タスクにおけるモデルの汎化能力を向上させることができるか？

主な発見

• 最も高い性能を示したモデル、すなわち単位正規化を施したBERTは、McTacoでF1スコア69.9%、EMスコア42.7%を達成したが、人間の性能（F1スコア87.1%、EMスコア75.8%）には大きく劣っている。
• BERTですら、妥当な持続時間の範囲を推論する能力に欠けており、離散的な時間用語を独立した関連付けとして扱う傾向にあり、範囲全体を推論するのではなく、表面的な関連性に依存している。
• すべてのモデルでF1スコアとEMスコアの差が30%以上にのぼっており、これはモデルが一貫性のある時間的推論ではなく、表面的な形の一致に依存していることを示している。
• 時間的推論カテゴリーごとの性能に顕著な差が見られ、「定常性」に関する質問ではランダムベースラインが高く、モデル性能が低く抑えられていることから、データ的またはタスク固有の課題が存在することが示唆された。
• 人間の性能が100%ではないことから、常識的判断に固有のばらつきが存在することを裏付け、McTacoデータセットの堅牢性と品質の高さが確認された。
• より最近のモデルであるRoBERTaは、F1スコア72.3%、EMスコア43.6%を達成しており、わずかな改善が見られたが、依然として人間水準の理解には遠く及ばない。