[論文レビュー] CoCoLM: COmplex COmmonsense Enhanced Language Model

Changlong Yu, Hongming Zhang+2 more|arXiv (Cornell University)|Dec 31, 2020

Topic Modeling参考文献 29被引用数 4

ひとこと要約

CoCoLM は、ASER イベントアリティ知識グラフから得た複雑な一般常識知識を統合することで、BERT や RoBERTa の因果的および時間的関係の理解を向上させる汎用的言語モデルである。イベントアリティ豊富なデータで事前学習することで、タスク固有の微調整を必要とせず、複数の一般常識推論ベンチマークで最先端の性能を達成した。

ABSTRACT

Large-scale pre-trained language models have demonstrated strong knowledge representation ability. However, recent studies suggest that even though these giant models contains rich simple commonsense knowledge (e.g., bird can fly and fish can swim.), they often struggle with the complex commonsense knowledge that involves multiple eventualities (verb-centric phrases, e.g., identifying the relationship between ``Jim yells at Bob'' and ``Bob is upset'').To address this problem, in this paper, we propose to help pre-trained language models better incorporate complex commonsense knowledge. Different from existing fine-tuning approaches, we do not focus on a specific task and propose a general language model named CoCoLM. Through the careful training over a large-scale eventuality knowledge graphs ASER, we successfully teach pre-trained language models (i.e., BERT and RoBERTa) rich complex commonsense knowledge among eventualities. Experiments on multiple downstream commonsense tasks that requires the correct understanding of eventualities demonstrate the effectiveness of CoCoLM.

研究の動機と目的

• 大規模事前学習言語モデルが複数のイベントアリティを含む複雑な一般常識知識を捉える能力に欠けるという限界を解消すること。
• 「ジムがボブに怒鳴る」→「ボブが落ち込んでいる」といった、原因的または時間的関係を表す動詞中心の表現の理解を向上させること。
• タスク固有の適応を必要とせず、豊富な複雑な一般常識知識を統合する汎用的言語モデルを開発すること。
• 大規模なイベントアリティ知識グラフ（ASER）を用いた事前学習が、NLP における一般常識推論の向上にどのように寄与するかを実証すること。

提案手法

• 大規模なイベントアリティ知識グラフ（ASER）で BERT や RoBERTa を事前学習させ、複雑な一般常識知識を注入すること。
• ASER から導出されたイベントアリティ系列にマスク言語モデルの目的関数を適用し、関係的ダイナミクスを捉えること。
• 因果的または時間的依存関係を反映するイベントアリティペアの表現を整列させるための対照的学習の目的関数を用いること。
• 言語的バリエーションの多様性をカバーするため、さまざまなテキスト表現のイベントアリティでモデルを学習させることで一般化性能を向上させること。
• コアアーキテクチャを再学習せずに、下流の一般常識タスクで CoCoLM を微調整すること。

実験結果

リサーチクエスチョン

• RQ1 イベントアリティ知識グラフで事前学習することで、言語モデルの複雑な一般常識的関係の理解が向上するか？
• RQ2 複数のイベントアリティに関する推論を要するタスクにおいて、CoCoLM は標準的な BERT や RoBERTa よりも優れているか？
• RQ3 ASER からの知識は、タスク固有の微調整なしに下流の一般常識推論タスクにどの程度転送可能か？
• RQ4 イベントアリティレベルの知識統合により、因果的および時間的関係の多様な言語的表現におけるモデルの一般化性能が向上するか？

主な発見

• CoCoLM は、CommonsenseQA や HellaWCC を含む複数の一般常識推論ベンチマークで最先端の性能を達成した。
• イベント間の因果的および時間的関係に関する推論を要するタスクにおいて、標準的な BERT や RoBERTa よりも顕著に優れた性能を示した。
• CoCoLM は強力なゼロショット一般化を示し、ASER で事前学習したことで、未学習のイベントアリティパターンに対しても性能が向上した。
• ASER からのイベントアリティ知識の統合により、多様な下流タスクで一貫した改善が得られ、事前学習戦略の有効性が裏付けられた。