[論文レビュー] Temporal Reasoning on Implicit Events from Distant Supervision

Ben Zhou, Kyle Richardson+4 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 47被引用数 4

ひとこと要約

本稿では、implicitな出来事（明示的に述べられていないが、常識的推論によって導ける出来事）における時系列的推論を評価するための新規データセットTracieを紹介する。著者らは、大規模テキストからの遠隔教師信号と、開始時刻と持続時間に関する記号的推論を組み合わせることで、終了時刻を推定する神経記号的モデルSymTimeを提案した。Tracieでは78.9%の精度を達成し、強力なベースラインより5%向上し、ゼロショット設定では11%向上した。

ABSTRACT

We propose TRACIE, a novel temporal reasoning dataset that evaluates the degree to which systems understand implicit events -- events that are not mentioned explicitly in natural language text but can be inferred from it. This introduces a new challenge in temporal reasoning research, where prior work has focused on explicitly mentioned events. Human readers can infer implicit events via commonsense reasoning, resulting in a more comprehensive understanding of the situation and, consequently, better reasoning about time. We find, however, that state-of-the-art models struggle when predicting temporal relationships between implicit and explicit events. To address this, we propose a neuro-symbolic temporal reasoning model, SYMTIME, which exploits distant supervision signals from large-scale text and uses temporal rules to combine start times and durations to infer end times. SYMTIME outperforms strong baseline systems on TRACIE by 5%, and by 11% in a zero prior knowledge training setting. Our approach also generalizes to other temporal reasoning tasks, as evidenced by a gain of 1%-9% on MATRES, an explicit event benchmark.

研究の動機と目的

• 明示的に記載されていないが文脈から推論可能なimplicitな出来事に注目することで、時系列的推論研究におけるギャップを埋める。
• implicitな出来事の開始時刻と終了時刻の両方に関する推論能力を評価できるベンチマークデータセットTracieを開発する。
• 大規模テキストからの遠隔教師信号を活用して、時系列パターンの事前学習を行うことで、低リソース設定における一般化を向上させる。
• 学習された開始時刻までの距離と出来事の持続時間を組み合わせ、記号論理を用いて終了時刻関係を推論する神経記号的モデルを設計する。
• implicit出来事とexplicit出来事の両方の時系列的推論ベンチマークにおいて、アプローチの頑健性と汎用性を実証する。

提案手法

• 5,400件の人が手作業で選定したインスタンスを含む、複数前提のテキスト entailment 形式のTracieを構築し、implicitな出来事とexplicitな出来事との間の時系列的関係に焦点を当てる。
• パラグラフ単位の窓を対象として、文単位ではなく、大規模テキストから時系列パターン（具体的には開始時刻までの距離と持続時間）を抽出することで、遠隔教師信号を適用する。
• これらの遠隔信号を用いて、時系列的推論、特に開始時刻予測のための事前学習を向上させるパターンベースのモデルPtnTimeを訓練する。
• SymTimeを設計し、終了時刻推論を2つの要素に分解する：相対的開始時刻までの距離の予測と、出来事の持続時間の推定。
• アレンの区間代数に基づく記号的計算を用いて予測を統合する：終了時刻 = 開始時刻 + 持続時間。これにより、論理的推論による時系列順序の特定が可能になる。
• タスク固有の微調整を伴うend-to-endでSymTimeを訓練するが、同時にゼロショットおよび低リソース設定でも評価し、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 既存の事前学習済み言語モデルは、implicitな出来事の開始時刻と終了時刻を効果的に推論できるか？
• RQ2 大規模テキストからの遠隔教師信号は、特に低リソース設定において、implicitな出来事における時系列的推論をどの程度向上できるか？
• RQ3 開始時刻までの距離と持続時間に関する記号的推論は、end-to-endニューラルモデルを上回る終了時刻推定を可能にするか？
• RQ4 記号的時系列ルールの統合は、異なるデータ分布間でモデルの頑健性と一般化性能をどのように向上させるか？
• RQ5 提案手法は、明示的な出来事のみを含む他の時系列的推論ベンチマークにも一般化可能か？

主な発見

• Tracieで微調整されたT5-Largeモデルは、バイナリ精度が67.9%にとどまり、implicitな出来事の推論における顕著な限界を示している。
• パラグラフ単位の時系列パターンを遠隔教師信号として用いて事前学習したPtnTimeは、Tracieで76.6%の精度を達成し、標準のT5-Largeより9%向上した。
• PtnTimeと持続時間モデルを統合し、記号的推論を適用するSymTimeは、Tracieで78.9%の精度を達成し、強力なベースラインより5%向上した。
• 事前知識なしの学習設定（ゼロショット）において、SymTimeはベースラインより11%向上し、遠隔教師信号からの一般化の強さを示した。
• MATRES（明示的出来事のためのベンチマーク）において、SymTimeは1%から9%の向上を達成し、他の時系列的推論タスクへの汎用性を示した。
• モデルは入力の分布シフトに対してより頑健であり、ストーリーなしの設定では4%の性能低下にとどまったが、T5-Largeは10%の低下を示した。