[論文レビュー] Extraction of Symbolic Rules from Artificial Neural Networks

S. M. Kamruzzaman, Md. Monirul Islam|arXiv (Cornell University)|Sep 23, 2010

Data Mining Algorithms and Applications参考文献 17被引用数 4

ひとこと要約

本稿では、3層フィードフォワード型の人工ニューラルネットワークを学習させた後、その中から記号的ルールを抽出する4段階のバックプロパゲーション学習アルゴリズムであるREANNを提案する。この手法は、意思決定木の出力と同等の解釈可能で明示的なルールを生成し、乳癌、アイris、糖尿病、季節分類といったベンチマークデータセットにおいて高い予測精度と一般化性能を示している。

ABSTRACT

Although backpropagation ANNs generally predict better than decision trees do for pattern classification problems, they are often regarded as black boxes, i.e., their predictions cannot be explained as those of decision trees. In many applications, it is desirable to extract knowledge from trained ANNs for the users to gain a better understanding of how the networks solve the problems. A new rule extraction algorithm, called rule extraction from artificial neural networks (REANN) is proposed and implemented to extract symbolic rules from ANNs. A standard three-layer feedforward ANN is the basis of the algorithm. A four-phase training algorithm is proposed for backpropagation learning. Explicitness of the extracted rules is supported by comparing them to the symbolic rules generated by other methods. Extracted rules are comparable with other methods in terms of number of rules, average number of conditions for a rule, and predictive accuracy. Extensive experimental studies on several benchmarks classification problems, such as breast cancer, iris, diabetes, and season classification problems, demonstrate the effectiveness of the proposed approach with good generalization ability.

研究の動機と目的

• バックプロパゲーションによるニューラルネットワークのブラックボックス性を解消し、解釈可能な記号的ルールを抽出すること。
• 実世界の応用においてユーザーの信頼や理解を阻害する、ANNの予測の透明性の欠如を克服すること。
• 高い予測精度を維持しながら解釈性を向上させるルール抽出手法を開発すること。
• 抽出されたルールが、意思決定木のような従来の記号的手法と同等に明示的であること。
• 多様なベンチマーク分類問題において、本手法の有効性を示すこと、特に優れた一般化能力を有すること。

提案手法

• 3層フィードフォワード型ANNのルール抽出に最適化された4段階のバックプロパゲーション学習アルゴリズムを提案する。
• 安定性と収束性を向上させるために、構造的で段階的な学習プロセスを用いてネットワークを学習する。
• ニューロンの活性化パターンと重み分布の分析により、学習済みネットワークから記号的ルールを抽出する。
• ネットワークの意思決定境界を人間が読みやすいif-then形式のルールに変換し、明示的な条件と結果を含める。
• ルール数と1ルールあたりの条件の複雑さの観点から、他の記号的手法との比較を通じてルールの明示性を保証する。
• 標準的なベンチマークデータセット（例：乳癌、アイris、糖尿病）を用いて、ルール抽出プロセスと性能の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 訓練済みのバックプロパゲーションニューラルネットワークから記号的ルールを効果的に抽出でき、解釈性が向上するか？
• RQ2 抽出されたルールの予測精度は、他のルール抽出法や記号的学習手法と比較してどの程度か？
• RQ3 REANN手法は多様な分類問題にどの程度一般化可能か？
• RQ4 抽出されたルールは、従来の意思決定木手法が生成するものと同等に明示的かつ解釈可能か？
• RQ5 4段階の学習アルゴリズムは、ルール抽出プロセスの質と安定性を向上させるか？

主な発見

• REANN手法は、解釈性の高い記号的ルールを、訓練済みの3層フィードフォワード型ANNから効果的に抽出できた。
• 抽出されたルールは、他のルール抽出法や記号的学習手法と同等の予測精度を維持した。
• 乳癌、アイris、糖尿病、季節分類を含むベンチマークデータセットにおいて、本手法は優れた一般化能力を示した。
• 抽出されたルールの数と1ルールあたりの平均条件数は、他の代替的記号的ルール生成技術と同等であった。
• 4段階の学習アルゴリズムは、ルール抽出プロセスの安定性と質の向上に寄与した。
• 本手法は、性能の著しい損失を伴わずに、ANNのブラックボックス性を透明で人間が読める記号的ルールに効果的に変換できた。