[論文レビュー] A Sequential Model for Classifying Temporal Relations between Intra-Sentence Events

Prafulla Kumar Choubey, Ruihong Huang|ArXiv.org|Jul 23, 2017

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本稿では、文内のイベント同士の細分化された時間的関係を分類するために、単語、品詞情報、依存関係の系列を、イベント間の依存関係経路を介して統合した双方向LSTMベースの逐次モデルを提案する。文脈的なフレーズの構成的構文的・意味的構造をモデル化することで、TimeBankコーパス上で53.32%の正確性を達成し、従来の特徴ベースのモデルより11.35ポイントも顕著に上回った。

ABSTRACT

We present a sequential model for temporal relation classification between intra-sentence events. The key observation is that the overall syntactic structure and compositional meanings of the multi-word context between events are important for distinguishing among fine-grained temporal relations. Specifically, our approach first extracts a sequence of context words that indicates the temporal relation between two events, which well align with the dependency path between two event mentions. The context word sequence, together with a parts-of-speech tag sequence and a dependency relation sequence that are generated corresponding to the word sequence, are then provided as input to bidirectional recurrent neural network (LSTM) models. The neural nets learn compositional syntactic and semantic representations of contexts surrounding the two events and predict the temporal relation between them. Evaluation of the proposed approach on TimeBank corpus shows that sequential modeling is capable of accurately recognizing temporal relations between events, which outperforms a neural net model using various discrete features as input that imitates previous feature based models.

研究の動機と目的

• 同じ文内のイベント間の細分化された時間的関係の分類精度を向上させること。
• 長時間または複雑な中間文脈において、構成的構文的・意味的証拠を捉えることが難しい特徴ベースのモデルの限界を克服すること。
• イベントの表記間の完全な依存関係経路を系列としてモデル化し、構造的および意味的構成性を保持すること。
• 単語、品詞情報、依存関係の系列を逐次的にモデル化することで、離散的特徴工学の範囲を超えて時間的関係分類の性能が向上するかどうかを評価すること。
• 従来の特徴ベースのアプローチに比べ、エンドツーエンドの逐次的モデリングが時間的関係分類において優れていることを実証すること。

提案手法

• 文内の2つのイベント表記間の依存関係経路を依存構文解析を用いて抽出する。
• 句読点や複雑な構文的構造に対処するため、ヒューリスティックなルールを適用して依存関係経路を拡張する。
• 各経路に対して、3つの並列された系列を生成する：語のトークン、品詞タグ、依存関係。
• 各系列を別々の双方向LSTMネットワークに供給し、文脈的表現を学習する。
• 3つのLSTMブランチの最終隠れ状態を連結し、softmax活性化関数を用いた全結合層に通して分類を行う。
• RMSProp最適化法とドロップアウト正則化を用いたカテゴリカル交差エントロピー損失関数でモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 局所的な離散的特徴と比較して、完全な依存関係経路を系列としてモデル化することで、時間的関係分類の性能が向上するか？
• RQ2 単語、品詞タグ、依存関係の系列が、個別および統合的に、細分化された時間的関係予測にどの程度寄与するか？
• RQ3 逐次的モデリングは、特に長時間または複雑な文脈において、特徴ベースのモデルが見逃す構成的構文的・意味的証拠を捉えられるか？
• RQ4 本モデルは、'begun_by' や 'ibefore' のようなレアな関係や検出が難しい関係に対してどの程度の性能を示すか？
• RQ5 手作業で特徴を設計したモデルや直接の依存関係経路に依存する強力なベースラインと比較して、本モデルはより一般化性能に優れているか？

主な発見

• 提案された完全なモデルは、TimeBankコーパス上で53.32%の正確性を達成し、強力な特徴ベースのベースライン（Baseline I）より11.35ポイントも向上した。
• Baseline IIおよびBaseline IIIよりそれぞれ9.42%および8.57%の高い性能を示し、非文法的ベースラインに比べて逐次的モデリングの価値を裏付けた。
• 直接の依存関係経路モデル（ルールによる拡張なしの最短経路のみを用いる）は49.25%の正確性を示し、ルールによる拡張がより高い性能をもたらすことを示した。
• 本モデルは、ベースラインシステムが完全に検出できなかったレアな関係（'begun_by'、'ibefore'、'ends'）に対しても優れた性能を示した。
• 依存関係の系列と品詞タグ・語の系列の組み合わせが最も高い性能（2系列モデルで47.75%）を示し、依存関係構造が特に有用であることを示した。
• 完全なモデルはマクロF1スコア0.40を達成し、ベースラインの0.22を顕著に上回った。特に 'includes' や 'during_in' のような低頻度関係において顕著な改善が見られた。