[論文レビュー] Temporal Common Sense Acquisition with Minimal Supervision

Ben Zhou, Qiang Ning+2 more|arXiv (Cornell University)|May 8, 2020

Topic Modeling参考文献 42被引用数 12

ひとこと要約

この論文では、構文規則と時間次元の共同モデリングを活用して、アノテーションのないテキストからの弱い教師信号を用いて、持続時間、頻度、一般的な時間といった時間的共通知識（TCS）を獲得する、TacoLMと呼ばれる系列モデリングフレームワークを提案する。内在的評価ではBERTを19%上回り、イベント関係抽出や時間的QAといった外在的タスクでも性能を向上させ、報告バイアスや時間単位の順序関係に対して頑健であることを示している。

ABSTRACT

Temporal common sense (e.g., duration and frequency of events) is crucial for understanding natural language. However, its acquisition is challenging, partly because such information is often not expressed explicitly in text, and human annotation on such concepts is costly. This work proposes a novel sequence modeling approach that exploits explicit and implicit mentions of temporal common sense, extracted from a large corpus, to build TACOLM, a temporal common sense language model. Our method is shown to give quality predictions of various dimensions of temporal common sense (on UDST and a newly collected dataset from RealNews). It also produces representations of events for relevant tasks such as duration comparison, parent-child relations, event coreference and temporal QA (on TimeBank, HiEVE and MCTACO) that are better than using the standard BERT. Thus, it will be an important component of temporal NLP.

研究の動機と目的

• 自然言語における時間的共通知識（TCS）を獲得する課題に取り組むこと。ここでは、持続時間、頻度、一般的な時間といった要因がしばしば暗黙的であり、報告バイアスのため代表されにくい。
• BERTのような標準的な事前学習言語モデルの限界を克服すること。これらは時間単位の順序関係をモデル化できず、TCS次元に対して明示的な教師信号を欠いている。
• 自由形式のテキストからの弱教師信号を用いて、持続時間、頻度、一般的な時間といったTCSの複数次元を共同でモデリングする手法を開発すること。
• イベントコアリファレンス、親子関係抽出、時間的QAといった、時間的推論を要する下流NLPタスクの性能を向上させること。

提案手法

• 構文規則を用いて、大規模なアノテーションのないコーパス（例：Gigaword）から、時間的共通知識の明示的および暗黙的表記を抽出し、弱教師信号を生成する。
• 持続時間、頻度、一般的な時間の各時間単位の分布を同時に予測する系列モデリングフレームワークを導入し、順序関係（例：分 < 時 < 日）をモデル化する。
• これらの弱教師信号を用いて事前学習することで、異なる時間次元を区別し、明示的表記を超えた一般化を向上させる。
• 時間表現を学習済みの特別トークンに置換する特別なトークン化方式を組み込み、時間単位の意味をよりよくモデル化する。
• 次元間の連携関係を活用する。例として、「火災アラーム中」のようなレアな出来事から上界制約を得て、「ドアを開ける」行為の持続時間がアラーム時間未満であると推論する。
• エンコーダーの表現を用いて、イベント関係分類や時間的QAといった下流タスクで微調整を行う。

実験結果

リサーチクエスチョン

• RQ1 アノテーションのないテキストからの弱教師信号のみを用いて、モデルがイベントの持続時間、頻度、一般的な時間の分布を予測できるか？
• RQ2 一般的な出来事が不足し、レアな出来事が過剰に表現される報告バイアスに対し、モデルはどの程度耐性を示すか？
• RQ3 複数の時間的次元を共同でモデリングすることで、標準的なBERTが達成できる範囲を超えて一般化や推論が向上するか？
• RQ4 時間単位の順序関係（例：分 < 時）を組み込むことで、予測品質がどの程度向上するか？
• RQ5 モデルのイベント表現が、時間的共通知識推論を要する下流タスクでより良い性能を発揮するか？

主な発見

• TacoLMは、RealNewsおよびUDSTの内在的評価でベースラインモデルを19%上回り、時間的共通知識分布の予測性能が優れていることを示している。
• 持続時間予測タスクでは、vanilla BERTに比べ40%の改善を達成し、ゴールラベルの周囲により正確で単一モードの分布を生成している。
• HiEVEでは、コアリファレンスタスクで4%、親子関係抽出タスクで8%の改善を示し、時間的推論によるイベント階層のモデル化能力が向上していることが示された。
• McTacoでは、持続時間（34.6% vs. 33.4%）、頻度（45.1% vs. 43.3%）、一般的な時間（40.9% vs. 39.5%）の正確一致スコアが高く、時間的QAにおける性能向上が確認された。
• モデルは、稀な出来事からの上界制約（例：「火災アラーム中」）を活用して一般的な持続時間を推論することで、報告バイアスに対して頑健であることが示され、文献においては画期的な貢献である。
• 改善は見られるが、McTacoにおける順序次元の性能はわずかに低下しており、相対的な時間順序をモデル化する点に課題が残っており、今後の調査が求められる。