[論文レビュー] Tunneling Neural Perception and Logic Reasoning through Abductive Learning

Wang-Zhou Dai, Qiuling Xu+2 more|arXiv (Cornell University)|Feb 4, 2018

Neural Networks and Applications参考文献 36被引用数 16

ひとこと要約

本稿では、マヤ文字の解読に見られる人間らしい試行錯誤的推論を模倣することで、ニューラル的認知と論理的推論を統合する、新しいフレームワーク「帰納的学習」を提案する。ニューラル論理マシンを導入し、少量の手書き式の学習例から学習し、複雑な式へと一般化する能力を発揮する。これは、統合的認知・推論タスクにおいて、最先端のニューラルネットワークを上回る性能を示す。

ABSTRACT

Perception and reasoning are basic human abilities that are seamlessly connected as part of human intelligence. However, in current machine learning systems, the perception and reasoning modules are incompatible. Tasks requiring joint perception and reasoning ability are difficult to accomplish autonomously and still demand human intervention. Inspired by the way language experts decoded Mayan scripts by joining two abilities in an abductive manner, this paper proposes the abductive learning framework. The framework learns perception and reasoning simultaneously with the help of a trial-and-error abductive process. We present the Neural-Logical Machine as an implementation of this novel learning framework. We demonstrate that--using human-like abductive learning--the machine learns from a small set of simple hand-written equations and then generalizes well to complex equations, a feat that is beyond the capability of state-of-the-art neural network models. The abductive learning framework explores a new direction for approaching human-level learning ability.

研究の動機と目的

• 現在の機械学習システムにおける認知モジュールと推論モジュールの根本的不整合を解消すること。
• マヤの象形文字の解読にインspiredされた、人間らしい帰納的推論の方法で、認知と推論を同時に学習できるようにすること。
• 記号論理を微分可能なニューラル的認知と統合するフレームワークを構築すること。
• 小規模で少量の学習例からの訓練が、複雑で未観測の論理的推論タスクへの強力な一般化をもたらすことを実証すること。

提案手法

• 帰納的学習フレームワークは、認識された記号を仮説として提示し、論理的ルールとの整合性を検証する試行錯誤のプロセスを用いる。
• ニューラル論理マシンは、微分可能なアーキテクチャとして実装され、入力（例：手書き式）をニューラル的認知を通じて記号的表現に変換する。
• 論理的整合性は一階論理ルールによって強制され、帰納的推論により記号解釈に関する仮説を生成・検証する。
• ドメイン知識と論理的整合性検証に従って、記号解釈の可能性を探索するヒューリスティックサーチが実施される。
• バックプロパゲーションは最適化と探索ベースの勾配近似により論理モジュールを介して実現され、エンドツーエンドの学習が可能になる。
• フレームワークは、微分可能なニューラルネットワークによる認知と、記号論理による整合性チェックを統合し、共同学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 認知と推論を、人間の帰納的推論を模倣する単一の学習フレームワークで統合できるか？
• RQ2 少量の手書き式の例から、複雑な論理的推論を学習できるか？
• RQ3 微分可能な認知と記号論理を統合することで、標準的なニューラルネットワークを上回る一般化性能が得られるか？
• RQ4 人為的に定義された記号マッピングなしに、帰納的学習が原始的記号を生データから自動で推論できるか？

主な発見

• ニューラル論理マシンは、単純な手書き式の少数例から学習し、複雑な式へと一般化する能力を発揮し、これは最先端のニューラルネットワークを超える能力である。
• 帰納的学習フレームワークにより、ニューラル的認知と記号論理の間を双方向のトンネルで結ぶことで、認知と推論の統合が実現された。
• マヤ文字の解読に類似した背景知識と整合性チェックを用いることで、人間らしい推論を示した。
• 記号論理を微分可能な認知と統合することで、エンドツーエンドの学習と一般化性能の向上が可能であることが示された。
• 論理的整合性と記号操作を要する推論タスクにおいて、標準的なニューラルネットワークを上回る性能を示した。
• 本手法により、類似したタスク間で認知部と推論部を再利用できることを示し、トランスファーラーニングや知識再利用の可能性を示唆している。