[論文レビュー] Augmenting Neural Networks with First-order Logic

Tao Li, Vivek Srikumar|arXiv (Cornell University)|Jun 14, 2019

Topic Modeling参考文献 40被引用数 4

ひとこと要約

本論文では、第一階論理の規則を微分可能計算グラフにコンパイルすることで、追加の学習可能なパラメータを必要とせずに神経ネットワークに統合するフレームワークを提案する。この手法により、学習と予測をガイドする論理的インダクティブバイアスを提供することで、機械理解、自然言語推論、テキストチャンクングのタスクにおいて、低データ環境下でもモデル性能が向上する。

ABSTRACT

Today, the dominant paradigm for training neural networks involves minimizing task loss on a large dataset. Using world knowledge to inform a model, and yet retain the ability to perform end-to-end training remains an open question. In this paper, we present a novel framework for introducing declarative knowledge to neural network architectures in order to guide training and prediction. Our framework systematically compiles logical statements into computation graphs that augment a neural network without extra learnable parameters or manual redesign. We evaluate our modeling strategy on three tasks: machine comprehension, natural language inference, and text chunking. Our experiments show that knowledge-augmented networks can strongly improve over baselines, especially in low-data regimes.

研究の動機と目的

• 神経ネットワークのデータ依存性を、第一階論理による宣言的知識の統合によって軽減すること。
• 既存の神経アーキテクチャに再設計を施さず、追加の学習可能なパラメータを追加せずに論理的制約を統合する手法を開発すること。
• 論理的制約がデータ依存性を低減させ、リソースが限られた環境下での性能向上を実現するかを評価すること。
• 大規模事前学習表現に依存するモデルと比較して、論理拡張モデルの有効性を検証すること。

提案手法

• フレームワークは、第一階論理規則を微分可能計算グラフにコンパイルし、既存の神経ネットワークアーキテクチャに統合する。
• 論理的規則は、L → R の形の条件文として表現され、L はリテラルの連言／選言、R は単一のリテラルである。これにより、制約の体系的符号化が可能になる。
• 誤差許容を可能にするために、あらゆる場所でソフト制約が用いられ、論理の述語がネットワーク内の特定のニューロンに対応づけられる。
• 勾配ベース最適化を可能にするために、論理の微分可能リラクゼーションが採用され、標準的なバックプロパゲーションによるエンドツーエンド学習が維持される。
• このアプローチは市販の神経ネットワークと互換性があり、アテンションメカニズムやCRFレイヤーなどの解釈可能なレイヤーに制約を適用可能である。
• フレームワークはローカルおよびグローバルな制約統合をサポートしており、神経コンポONENTのモジュラーな拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 第一階論理規則を学習プロセスを変更せずに神経ネットワーク学習に体系的に統合できるか？
• RQ2 このような論理的制約が、神経ネットワーク学習のデータ要件を低減できるか？
• RQ3 大規模事前学習表現に依存するのと比較して、ドメイン固有の論理的知識を統合することは、どのような差異を生じるか？
• RQ4 論理の統合が、多様なNLPタスクにおける低データ環境下でのモデル性能を向上させるか？

主な発見

• 知識拡張モデルは、特に低データ環境下で標準ベースラインを顕著に上回り、SQuADデータセットでは訓練データの5%のみを用いても最大5.4%の向上を達成した。
• SNLI帰納性データセットでは、制約付きモデルが5%のデータで88.6%の精度を達成し、ベースラインおよびCRFモデルを上回った。
• テキストチャンクングでは、制約を統合したBiLSTMモデル（C1:5）が20%のデータで92.1%の精度を達成し、ベースラインおよびCRFモデルを上回った。
• CRFと論理的制約の組み合わせが、全データセットで最高の性能（95.0%の精度）を示し、相乗効果が確認された。
• CRFモデルは40%未満のデータでベースラインを下回った。これは、グローバル推論モデルがスコアリング関数を効果的に学習するにはより多くのデータが必要であることを示している。
• フレームワークは、追加の学習可能なパラメータを追加せずに、すべての3つのタスクでモデル性能を向上させた。これは、その効率性と既存アーキテクチャとの相性の良さを裏付けている。