[論文レビュー] Integrating Deep Learning with Logic Fusion for Information Extraction

Wenya Wang, Sinno Jialin Pan|arXiv (Cornell University)|Dec 6, 2019

Topic Modeling参考文献 34被引用数 7

ひとこと要約

本稿では、変換器ベースのニューラルネットワークと差違損失を介して接続された論理モジュールを用いて、深層学習と1階論理式規則を統合する包括的なフレームワークを提案する。このフレームワークにより、ニューラル予測と論理的制約を同時に最適化し、エンドツーエンドの情報抽出が可能になる。モデルは、データと記号的知識の両方から同時に学習することで、意見的標的抽出およびエンドツーエンド関係抽出の両タスクで最先端の性能を達成し、収束が速く、一般化性能が向上する。

ABSTRACT

Information extraction (IE) aims to produce structured information from an input text, e.g., Named Entity Recognition and Relation Extraction. Various attempts have been proposed for IE via feature engineering or deep learning. However, most of them fail to associate the complex relationships inherent in the task itself, which has proven to be especially crucial. For example, the relation between 2 entities is highly dependent on their entity types. These dependencies can be regarded as complex constraints that can be efficiently expressed as logical rules. To combine such logic reasoning capabilities with learning capabilities of deep neural networks, we propose to integrate logical knowledge in the form of first-order logic into a deep learning system, which can be trained jointly in an end-to-end manner. The integrated framework is able to enhance neural outputs with knowledge regularization via logic rules, and at the same time update the weights of logic rules to comply with the characteristics of the training data. We demonstrate the effectiveness and generalization of the proposed model on multiple IE tasks.

研究の動機と目的

• 情報抽出タスクにおける深層学習モデルの、複雑で構造的な関係を捉える能力の制限を解決する。
• 純粋なニューラルネットワークにおける解釈性の欠如と事前知識の統合不足を、記号的論理式規則を組み込むことで克服する。
• 形式的論理を用いてエンティティタイプと関係の間の依存関係をモデル化することで、エンティティと関係の共同推論を可能にする。
• ニューラルおよび論理的コンポONENTが訓練中に互いに正則化することができる、学習可能なエンドツーエンドフレームワークを開発する。
• データ駆動型学習とドメイン固有の論理的制約を融合させることで、リソースが限られた情報抽出タスクにおけるモデルの一般化性能と性能を向上させる。

提案手法

• 長距離依存関係をモデル化するために、マルチヘッドアテンションを用いた文脈的で単語レベルの表現を学習する変換器ベースのニューラルネットワークを採用する。
• ドメイン知識を、$Live\_In(Z,X)\wedge person(Z)\Rightarrow location(X)$ のような1階論理（FOL）規則として表現する。これにより、エンティティと関係の間の複雑な制約を符号化する。
• 各論理規則に学習可能な重みを導入し、トレーニングデータとの整合性に応じて規則の信頼性を動的に調整する。
• 関数マッピングを通じてニューラル出力を論理モジュールにマップし、分散表現上で論理推論が可能になるようにする。
• ニューラル予測と論理モジュール出力の間の差違損失を最小化することで、一貫性を強制し、深層学習モデルを正則化する。
• バックプロパゲーションを用いて、ニューラル重みと論理規則重みを同時に最適化するエンドツーエンドの訓練を実施する。

実験結果

リサーチクエスチョン

• RQ1 1階論理式規則は、情報抽出におけるエンティティと関係の間の複雑で高レベルの関係を効果的に捉え、強制できるか？
• RQ2 記号的論理と深層ニューラルネットワークを統合することで、リソースが限られた情報抽出タスクにおける一般化性能と性能がどのように向上するか？
• RQ3 差違損失メカニズムは、標準的な訓練戦略と比較して、モデルのロバストネスと収束速度をどの程度向上させるか？
• RQ4 共同学習フレームワークは、純粋にニューラルネットワークまたは純粋に論理規則を使用するモデルよりも、エンドツーエンド関係およびエンティティ抽出で優れた性能を示すか？
• RQ5 アテンション機構、ラベル埋め込み、論理規則といった異なるコンポONENTは、共同推論における最終的な性能にどのように影響を与えるか？

主な発見

• 提案されたモデル、TransFは、意見的標的抽出（OTE）およびエンドツーエンド関係抽出（RE）タスクの両方で最先端の性能を達成した。
• TransFは、(Sun et al. 18) G といった強力なベースラインを上回り、特に関係抽出において顕著な性能向上を示した。収束が速く、20エポック以内に高い性能に到達したのに対し、ベースラインは500エポック以上を要した。
• 論理規則を組み込んだモデル（TransF + SR + RR）は、標準的な変換器ベースラインよりも顕著な改善を示し、明示的な記号的制約の価値を裏付けた。
• アテンション特徴を削除したモデル（TransF $-\alpha$）では、関係予測性能が劣化した。これは、アテンションがエンティティ間の相互作用をモデル化する上で重要であることを確認した。
• ラベル埋め込みの使用はエンティティ抽出をわずかに向上させたが、明示的な論理規則がより大きな向上をもたらした。これは、分類分割とタイプ依存関係をモデル化する上で、論理規則の有効性を示している。
• 差違損失メカニズムにより、効果的な知識蒸留が実現され、論理規則がニューラル予測を正則化するとともに、逆にニューラル予測が論理規則を正則化することで、より安定的かつ正確な共同推論が可能になった。