[論文レビュー] Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction

Rujun Han, Yichao Zhou+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 37被引用数 5

ひとこと要約

本稿では、分布的制約を通じて確率的ドメイン知識を統合することで、エンドツーエンドのイベント時系列関係抽出を向上させる構造的ニューラルネットワークフレームワークを提案する。ラグランジュ緩和を用いて推論を最適化することで、VAGUEのような支配的関係に偏りが生じるのを軽減し、ニュースおよび臨床データセットで強力なベースラインを大きく上回るF1スコアを達成する。

ABSTRACT

Extracting event temporal relations is a critical task for information extraction and plays an important role in natural language understanding. Prior systems leverage deep learning and pre-trained language models to improve the performance of the task. However, these systems often suffer from two short-comings: 1) when performing maximum a posteriori (MAP) inference based on neural models, previous systems only used structured knowledge that are assumed to be absolutely correct, i.e., hard constraints; 2) biased predictions on dominant temporal relations when training with a limited amount of data. To address these issues, we propose a framework that enhances deep neural network with distributional constraints constructed by probabilistic domain knowledge. We solve the constrained inference problem via Lagrangian Relaxation and apply it on end-to-end event temporal relation extraction tasks. Experimental results show our framework is able to improve the baseline neural network models with strong statistical significance on two widely used datasets in news and clinical domains.

研究の動機と目的

• クラスの不均衡や限られた訓練データによる影響で、VAGUEのような支配的関係に偏った予測が生じるという、既存のニューラルモデルのイベント時系列関係抽出における限界を是正すること。
• 従来のシステムが直面するハード制約の制限を乗り越えるために、コーパス統計から導出される確率的・分布的ドメイン知識を統合すること。
• イベントタイプ固有の関係統計をMAP推論プロセスに統合することで、モデルの汎化性能と推論の正確性を向上させること。
• 深層文脈表現とドメイン情報に基づく制約を同時に最適化する構造的ニューラルネットワークを用いたエンドツーエンド学習を可能にすること。
• ラグランジュ緩和が、時系列推論タスクにおける確率的知識に基づく制約付き推論問題を解く際に有効であることを示すこと。

提案手法

• コーパス統計から分布的制約を構築し、特にイベントタイプ（例：発生 vs. 報告）に条件付けた時系列関係の期待確率分布をモデル化する。
• これらの確率的制約を、構造的ニューラルネットワークの最大事後確率（MAP）推論段階に統合するが、学習段階ではなく推論段階で行う。
• ドメイン知識から導出される不等式制約を有する最適化問題として制約付き推論問題を定式化し、ラグランジュ緩和を用いて微分可能な最適化を可能にする。
• 入力テキストの文脈表現として事前学習済み言語モデル（例：BERT）を活用し、その後にペアワイズの時系列関係スコアを出力する関係分類器を適用する。
• ラグランジュ緩和を用いて、ニューラルモデルの出力スコアとドメイン知識制約への適合度を同時に最適化し、ソフトで確率的な制約の強制を実現する。
• 開発セットのチューニングにより、制約構築のための三つ組み数を選択し、過学習を避けるために信頼性と汎化性能のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 イベントタイプ固有の関係統計から導出される確率的ドメイン知識は、イベント時系列関係抽出におけるニューラルモデルの性能向上に寄与するか？
• RQ2 ラグランジュ緩和を用いて分布的制約を統合することで、VAGUEのような支配的関係へのバイアスが軽減され、汎化性能が向上するか？
• RQ3 本手法は、ハード制約のみを用いるか、ドメイン知識を一切使わない強力なベースラインと比較して、どのように優れているか？
• RQ4 三つ組みの頻度に基づく制約構築の信頼性が、未観測のテストデータに対するモデルの汎化性能にどの程度影響を与えるか？
• RQ5 本フレームワークは、データスパarsityや関係分布が異なるニュースおよび臨床ドメインのデータセットに効果的に適用可能か？

主な発見

• TimeBank-Dense（ニュース）およびI2b2-Temporal（臨床）データセットの両方で、強力なベースラインモデルを著しく上回るF1スコアを達成し、統計的有意性を示す。
• 発生と報告のタイプを有するイベントペアにおいて、VAGUE関係の過剰予測を10%削減すると同時に、正しいINCLUDES予測を7.2%向上させる。
• 低頻度の三つ組みから制約を構築した場合、テストセットでの性能が低下するため、制約の信頼性は十分なデータカウントに依存することが示された。
• 開発セットで制約のしきい値を最適化すると、ある点を過ぎてからテストF1スコアが低下するなど、過学習が生じることが確認された。
• ハード制約のみに依存するか、ドメイン知識を一切使わない先行研究と比較して、本フレームワークは両ベンチマークデータセットで新しいSOTAを確立した。
• 特に低頻度または複雑な関係タイプにおいて改善が顕著に現れ、モデルバイアスの是正能力が裏付けられた。