[論文レビュー] Logic Mining Using Neural Networks

Saratha Sathasivam, Wan Ahmad Tajuddin Wan Abdullah|ArXiv.org|Apr 25, 2008

Neural Networks and Applications参考文献 5被引用数 4

ひとこと要約

本稿では、大規模なデータベースから論理的ルールを抽出するための、ホフリードニューラルネットワークを用いた新規な逆解析手法を提案する。この手法は、データマイニングにおけるニューラルネットワークのブラックボックス性を克服するものであり、学習済みのネットワーク重みを分析することで、解釈可能な論理プログラムを同定する。エネルギー最小化を用いることで、データからルールを抽出可能なニューラルネットワークが、論理マイニングの有効なツールであることが示された。

ABSTRACT

Knowledge could be gained from experts, specialists in the area of interest, or it can be gained by induction from sets of data. Automatic induction of knowledge from data sets, usually stored in large databases, is called data mining. Data mining methods are important in the management of complex systems. There are many technologies available to data mining practitioners, including Artificial Neural Networks, Regression, and Decision Trees. Neural networks have been successfully applied in wide range of supervised and unsupervised learning applications. Neural network methods are not commonly used for data mining tasks, because they often produce incomprehensible models, and require long training times. One way in which the collective properties of a neural network may be used to implement a computational task is by way of the concept of energy minimization. The Hopfield network is well-known example of such an approach. The Hopfield network is useful as content addressable memory or an analog computer for solving combinatorial-type optimization problems. Wan Abdullah [1] proposed a method of doing logic programming on a Hopfield neural network. Optimization of logical inconsistency is carried out by the network after the connection strengths are defined from the logic program; the network relaxes to neural states corresponding to a valid interpretation. In this article, we describe how Hopfield network is able to induce logical rules from large database by using reverse analysis method: given the values of the connections of a network, we can hope to know what logical rules are entrenched in the database.

研究の動機と目的

• ニューラルネットワークベースのデータマイニングにおける解釈不能性の問題に対処し、学習済みネットワークから論理的ルールを抽出すること。
• ニューラルネットワークの学習プロセスを逆転させ、学習済み接続重みから論理プログラムを推定する手法を開発すること。
• ホフリードネットワークがデータ駆動型学習と記号的論理表現の間の橋渡しとして機能できることを示すこと。
• 解釈可能性を保ちながら、大規模なデータベースからの知識抽出を可能にするためにニューラルネットワークを活用すること。
• ホフリードネットワークにおけるエネルギー最小化を用いた論理的ルール誘導の実現可能性を検証すること。

提案手法

• 本手法は逆解析アプローチを用いる：学習済みホフリードネットワークの接続重みが与えられたとき、ネットワーク構造から論理的ルールを推定する。
• ホフリードネットワークのエネルギー関数を最小化することで、論理プログラムの有効な解釈に対応する安定状態に到達する。
• データベースのインスタンスに学習させた後、ネットワーク内のシナプス重みの強度と構成を分析することで論理的ルールを導出する。
• 論理プログラムを入力として用い、論理節からエンコードされた接続重みを有するネットワークを学習させる。
• 本システムは、ホフリードネットワークが組み合わせ最適化問題を解くアナログコンピュータとして機能できることを活用する。
• 学習済み重み行列を論理的含意の表現として解釈することで、重みから論理ルールへの逆写像を達成する。

実験結果

リサーチクエスチョン

• RQ1 ホフリードニューラルネットワークを用いて、学習済みモデルから解釈可能な論理的ルールを抽出できるか？
• RQ2 学習済みホフリードネットワークの重みを、体系的な方法で論理的ルールにマッピングできるか？
• RQ3 データに学習させたニューラルネットワークが、どの程度まで記号的論理表現に逆工程で分解可能か？
• RQ4 ホフリードネットワークにおけるエネルギー最小化が、データから一貫性のある論理的解釈を発見するのを支援できるか？
• RQ5 ニューラルネットワークを予測のためのものとしてだけでなく、記号的形での知識抽出のためのツールとして使用することは可能か？

主な発見

• 逆解析手法により、学習済みホフリードネットワークの重みを解釈可能な論理的ルールに正確にマッピングでき、データからの知識抽出が可能となった。
• 本手法は、論理プログラムに学習させたニューラルネットワークが、元の論理節を回復できる可能性を示している。
• ホフリードネットワークにおけるエネルギー最小化により、有効な論理的解釈に対応する安定状態への収束が保証された。
• ブラックボックスモデルを記号的論理に翻訳することで、ニューラルネットワークベースのデータマイニングにおける解釈不能性問題に対する解決策を提供した。
• 論理プログラミングタスクへの応用を通じて、本手法の有効性が検証され、学習済み重みが意味のある論理的関係を符号化していることが示された。
• 結果から、ホフリードネットワークが学習と記号的ルール抽出の両方の計算基盤として機能できることを確認した。