[論文レビュー] Generalize Symbolic Knowledge With Neural Rule Engine

Li Shen, Hengru Xu+1 more|arXiv (Cornell University)|Aug 30, 2018

Natural Language Processing Techniques参考文献 30被引用数 9

ひとこと要約

本稿では、一般化を向上させつつも精度と解釈可能性を維持するため、神経ネットワークを組み込んだシンボリック論理ルールを強化するニューラル・ルールエンジン（NRE）を提案する。正規表現を学習可能なパーサーと再利用可能なシンボリックモジュールを備えたニューラルモジュールネットワークに変換することで、NREは最高で33.82%のリCALL向上を達成し、意味的に類似したパターンや再構成されたアクションシーケンスに対しても堅牢な一般化を示す。

ABSTRACT

As neural networks have dominated the state-of-the-art results in a wide range of NLP tasks, it attracts considerable attention to improve the performance of neural models by integrating symbolic knowledge. Different from existing works, this paper investigates the combination of these two powerful paradigms from the knowledge-driven side. We propose Neural Rule Engine (NRE), which can learn knowledge explicitly from logic rules and then generalize them implicitly with neural networks. NRE is implemented with neural module networks in which each module represents an action of a logic rule. The experiments show that NRE could greatly improve the generalization abilities of logic rules with a significant increase in recall. Meanwhile, the precision is still maintained at a high level.

研究の動機と目的

• 低データ環境下におけるシンボリック論理ルールの一般化能力の制限を解消すること。
• 精度や解釈可能性を損なわず、ルールベースシステムの柔軟性と耐性を向上させること。
• ニューラルネットワークをニューラルモデルの性能向上のために統合するのでなく、むしろシンボリック知識自体を強化するために統合すること。
• 学習されたレイアウトに基づいて動的にルール実行を合成できる、トレーニング可能なモジュラー構造を開発すること。
• 意味的に類似した用語や再構成されたアクションシーケンスにわたる効果的なルール一般化を可能にすること。

提案手法

• 有限状態機械の解釈を模倣して、シンボリックまたはニューラルパーサーを用いて正規表現（REs）をアクションツリーに変換する。
• 各REアクションを、カスタムニューラルネットワークまたはシンボリックアルゴリズムを組み合わせたニューラル・シンボリックモジュールとして実装する。
• ニューラルパーサーが予測するレイアウトに従って、動的に構成されるモジュールからなるニューラルモジュールネットワーク（NMN）を構築する。
• 段階的トレーニング戦略を採用：まず個々のモジュールとニューラルルールパーサーを事前学習し、その後強化学習を用いて共同微調整する。
• 冗長または関連性の低いアクションを削除することで、アクションシーケンスを最適化できるレイアウトパーサーを導入する。これにより一般化性能が向上する。
• ニューラルネットワークを用いて意味的変種（例：'taken from' → 'extracted from'、'sends into' → 'pushed into'）を一般化しつつ、ルール構造を保持する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、精度を損なわずにシンボリック論理ルールの一般化能力を効果的に向上させることができるか？
• RQ2 ニューラルモジュールをシンボリックルール実行に統合することで、多様な言語的パターンに対して柔軟かつ動的推論を可能にする方法は何か？
• RQ3 ニューラルレイアウトパーサーがルールベースシステムにおけるアクションシーケンスを最適化することで、リCALLと耐性をどの程度向上させられるか？
• RQ4 提案されたフレームワークは、低リソースNLPタスクにおいて未観測だが意味的に類似した表現に対しても一般化可能か？
• RQ5 強化学習を用いた段階的トレーニングアプローチは、モジュールとルールパーサーの共同最適化にどのように影響するか？

主な発見

• NREは、ベースラインのRE（17.79%）からPNAS_モデル（33.82%）までリCALLを大幅に向上させたが、精度は0.92以上を維持した。
• モデルは意味的変種に対しても一般化する：'extracted from'は'taken from'に一致し、'originating'は'originate'に一致し、'pushed into'は'sends into'に一致する。
• ニューラルレイアウトパーサーにより冗長なアクションが削除された（例：'落水管'と'ステンレス管'が'管'に一般化）。これにより性能と耐性が向上した。
• NREフレームワークは中国語の犯罪事例分類において、最適化されたアクションシーケンスを用いて'鋭利でない道具を保持する'を'ハンマー'や'スチールパイプ'から正しく同定した。
• アクションシーケンス最適化のためのニューラルパーサーの使用は、単にシンボリックルールパーサーを用いるのよりも優れた性能を示した。特に曖昧または複雑なパターンの処理において顕著であった。
• 強化学習を用いた段階的トレーニングアプローチにより、モジュールとレイアウトの共同学習が効果的に行われ、安定的かつ高性能なルール実行が実現した。