[論文レビュー] OntoED: Low-resource Event Detection with Ontology Embedding

Shumin Deng, Ningyu Zhang+6 more|arXiv (Cornell University)|May 23, 2021

Topic Modeling参考文献 34被引用数 9

ひとこと要約

OntoEDは、イベントタイプ間の相互相関をモデル化するためのオントロジー埋め込みを活用する、低リソースイベント検出フレームワークを提案する。この手法は、データが不足する状況やゼロショット状況でも性能を向上させる。BERTベースのインスタンス符号化とプロトタイプ学習に加え、記号的ルールに基づく相関推論を統合することで、優れた耐性と一般化性能を達成し、特に少データ学習およびゼロショット設定において、提案されたOntoEventデータセットで先行手法を上回る性能を発揮する。

ABSTRACT

Event Detection (ED) aims to identify event trigger words from a given text and classify it into an event type. Most of current methods to ED rely heavily on training instances, and almost ignore the correlation of event types. Hence, they tend to suffer from data scarcity and fail to handle new unseen event types. To address these problems, we formulate ED as a process of event ontology population: linking event instances to pre-defined event types in event ontology, and propose a novel ED framework entitled OntoED with ontology embedding. We enrich event ontology with linkages among event types, and further induce more event-event correlations. Based on the event ontology, OntoED can leverage and propagate correlation knowledge, particularly from data-rich to data-poor event types. Furthermore, OntoED can be applied to new unseen event types, by establishing linkages to existing ones. Experiments indicate that OntoED is more predominant and robust than previous approaches to ED, especially in data-scarce scenarios.

研究の動機と目的

• 多くのイベントタイプに十分なトレーニングインスタンスが存在しない低リソースイベント検出の課題に対処すること。
• 既存の手法がイベントタイプ間の相互相関を無視するという限界を克服すること。
• 新しい未学習のイベントタイプを、既存のイベントオントロジーにリンクさせることでゼロショット検出を可能にすること。
• 高リソースのイベントタイプから低リソースのイベントタイプへ知識を伝達することで、データが不足する状況でのモデルの一般化を向上させ、過学習を低減すること。
• 深層学習と記号的推論を統合した神経記号的フレームワークを構築すること。このフレームワークでは、イベントオントロジー埋め込みを介して実現する。

提案手法

• BERT埋め込みとプロトタイプ学習を用いて、イベントインスタンスを事前に定義されたタイプに結びつけることで、初期のイベントオントロジーを構築する。各プロトタイプは、そのインスタンス埋め込みの平均値として定義される。
• イベントインスタンスから関係を抽出し、隣接プロトタイプを集約することで、時間的、因果的、階層的なタイプ間関係を抽出し、オントロジーを拡張する。
• イベントタイプ間を横断して相関知識を伝達することで、オントロジー埋め込みを学習し、意味的に類似したタイプがベクトル空間で近づくようにする。
• 既存の関係から、例えば「前後関係（Before）」のような推移的関係を含む、新しいイベント同士の関係を導出する記号的ルールベースの推論機構を設計する。これにより、オントロジーがさらに豊かになる。
• オントロジー埋め込みモジュールを少データ学習設定と統合し、ゼロショットおよび少データ学習におけるイベント検出を可能にする。
• 深層ニューラルネットワーク（BERT）と記号的推論（オントロジー規則）を統合したハイブリッド神経記号的アーキテクチャを採用し、一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 イベントタイプ間の相互相関をモデル化することで、低リソースイベント検出の性能が向上するか？
• RQ2 オントロジーに基づく相関伝達を用いることで、データ豊富なタイプからデータ貧困なタイプへ知識を効果的に転送できるか？
• RQ3 トレーニング時に未観測のイベントタイプに対しても、OntoEDはどの程度一般化できるか？
• RQ4 記号的ルールベースの相関推論は、イベント検出モデルの耐性とスケーラビリティをどの程度向上させるか？
• RQ5 低リソース環境下で、深層学習と記号的オントロジー推論を組み合わせたアプローチが、純粋なニューラルネットワークまたは純粋な記号的アプローチよりも優れた性能を発揮するか？

主な発見

• OntoEDは、全体的、少データ学習、ゼロショット評価の各設定で最先端の性能を達成し、特に低リソース状況において、先行手法を上回る。
• アブレーションスタディの結果、相関推論を除去すると、少データ学習設定でのF1スコアが10.9%低下することが判明し、知識伝達においてその重要性が示された。
• ゼロショット評価においても、相関推論を除去するとF1スコアが15.9%低下し、未学習タイプへの一般化においてその重要性が強調された。
• 相関推論を除去した場合の性能低下（10.9% ↓）が、オントロジー学習を除去した場合の低下（6.6% ↓）よりも顕著であるため、相関モデリングがより大きな影響を持つことが証明された。
• OntoEDはゼロショット検出において強く頑健な性能を示し、共通の相関を介して既存のオントロジー構造に新しいイベントタイプをリンクさせることで、効果的に一般化を達成した。
• モデルの成功は、記号的ルールとディープラーニングの有効な統合に起因し、意味的に関連するイベントタイプ間で知識を伝達可能にした。