[論文レビュー] Harnessing Deep Neural Networks with Logic Rules

Zhiting Hu, Xuezhe Ma+3 more|arXiv (Cornell University)|Mar 21, 2016

Topic Modeling参考文献 47被引用数 200

ひとこと要約

論文は、CNNとRNNに第一階ロジック規則を注入する反復的なルール知識蒸留フレームワークを提示し、規則に基づく予測をネットワーク重みに蒸留することで感情分析とNERの性能を向上させる。

ABSTRACT

Combining deep neural networks with structured logic rules is desirable to harness flexibility and reduce uninterpretability of the neural models. We propose a general framework capable of enhancing various types of neural networks (e.g., CNNs and RNNs) with declarative first-order logic rules. Specifically, we develop an iterative distillation method that transfers the structured information of logic rules into the weights of neural networks. We deploy the framework on a CNN for sentiment analysis, and an RNN for named entity recognition. With a few highly intuitive rules, we obtain substantial improvements and achieve state-of-the-art or comparable results to previous best-performing systems.

研究の動機と目的

• 構造化された論理規則を深層ニューラルネットワークと統合して解釈性を高め、データ要求を減らす動機付け。
• 規則知識をネットワークパラメータへ転送する反復的な教師-生徒蒸留フレームワークを提案。
• 単純で直感的な規則を用いて、感情分析のCNNとNERのRNNで効果を示す。

提案手法

• 連続的な真理値を可能にするソフトロジックで規則を表現する。
• 基礎予測子 p_theta を事後正則化制約（KLダイバージャンスと規則スラック）で射影して教師 q を規定する。
• 生徒 p_theta を q を模倣すると同時に真のラベルにも適合させ、 unlabeled データによる半教師あり学習を可能にする。
• 規則知識をネットワ parameters に蒸留するため、教師の構築と生徒の訓練を反復的に交互に行う。
• 訓練反復中に真ラベル学習から規則模倣へ移行する imitation パラメータ pi(t) を用いる。

実験結果

リサーチクエスチョン

• RQ1 逐次蒸留を通じて宣言的な一階論理規則を一般的なニューラルアーキテクチャ（CNN、RNN）に効果的に統合できるか？
• RQ2 規則情報を取り入れたネットワーク（生徒 p と教師 q）は感情分析とNERで純粋なデータ駆動のベースラインを上回るか？
• RQ3 ソフトロジックのエンコーディングと規則ベースの制約は半教師あり学習とデータ効率にどう影響するか？

主な発見

モデル	SST2	MR	CR
CNN (Kim, 2014)	87.2	81.3 ± 0.1	84.3 ± 0.2
CNN-Rule-p	88.8	81.6 ± 0.1	85.0 ± 0.3
CNN-Rule-q	89.3	81.7 ± 0.1	85.3 ± 0.3

• 感情分析では、Rule-p および Rule-q を用いた CNN がベースの CNN を上回り、SST2 の精度は 88.8% に対してベースは 87.2%、教師モデルで最大 89.3% のとき SST2。
• MR および CR 感情タスクで、Rule-強化モデルはベースの CNN より精度が向上し、Rule-q はそれぞれ 81.7% および 85.3%（MR/CR）を達成。
• CoNLL-2003 NER では遷移規則とリストベースの制約を組み込むと、教師 q の F1 は高くなり（91.11 と 91.18）、ベース BLSTM（89.55）を上回る。
• 教師モデル q は蒸留された生徒 p より一般に上回る。特に規則がクロススパン依存性を生じる場合に顕著。
• 未ラベルデータを用いた半教師型の変種は、特にラベルが少ない場合に性能をさらに向上させる。