[論文レビュー] Rule Extraction using Artificial Neural Networks

S. M. Kamruzzaman, Ahmed Ryadh Hasan|arXiv (Cornell University)|Sep 25, 2010

Neural Networks and Applications参考文献 19被引用数 4

ひとこと要約

本稿では、学習済みの人工ニューラルネットワークから解釈可能な記号的ルールを抽出するための2段階のニューラルネットワーク訓練手法を提案する。最初の段階では、性能に基づいて段階的に隠れノードを追加することでネットワークを構築する。2番目の段階では、不要な接続および入力特徴量を削除する。得られた簡略化されたネットワークにより、ベンチマークデータセットにおいて優れた汎化性能を示す効果的なルール抽出が可能になる。

ABSTRACT

Artificial neural networks have been successfully applied to a variety of business application problems involving classification and regression. Although backpropagation neural networks generally predict better than decision trees do for pattern classification problems, they are often regarded as black boxes, i.e., their predictions are not as interpretable as those of decision trees. In many applications, it is desirable to extract knowledge from trained neural networks so that the users can gain a better understanding of the solution. This paper presents an efficient algorithm to extract rules from artificial neural networks. We use two-phase training algorithm for backpropagation learning. In the first phase, the number of hidden nodes of the network is determined automatically in a constructive fashion by adding nodes one after another based on the performance of the network on training data. In the second phase, the number of relevant input units of the network is determined using pruning algorithm. The pruning process attempts to eliminate as many connections as possible from the network. Relevant and irrelevant attributes of the data are distinguished during the training process. Those that are relevant will be kept and others will be automatically discarded. From the simplified networks having small number of connections and nodes we may easily able to extract symbolic rules using the proposed algorithm. Extensive experimental results on several benchmarks problems in neural networks demonstrate the effectiveness of the proposed approach with good generalization ability.

研究の動機と目的

• 学習済みニューラルネットワークのブラックボックス性を解消し、人間が読める記号的ルールを抽出すること。
• 予測性能を損なわせることなくニューラルネットワークの解釈性を向上させること。
• 訓練中に不要な特徴量を自動で同定・保持し、不要な特徴量を除外すること。
• ルール抽出を容易にするためにニューラルネットワークを体系的に簡略化する手法を開発すること。
• 強力な汎化能力を示す、ベンチマーク分類問題への応用を実証すること。

提案手法

• 訓練データにおけるネットワーク性能に基づいて、動的に隠れノードを追加する構築型訓練段階を用いる。
• 2番目の段階で、冗長な接続を削除しネットワークの複雑さを低減するためのプルーニングアルゴリズムを適用する。
• 接続重みの分析を通じて関連する入力ユニットを同定し、寄与度が最小のものを除外する。
• 簡略化されたネットワーク構造を用いて、専用のルール抽出アルゴリズムにより記号的ルールを抽出する。
• 構築学習とプルーニングを組み合わせ、モデルの精度と解釈性のバランスを取る。
• 最終的なネットワークが、ルールの明確さを向上させるために、必須のノードと接続のみを保持することを保証する。

実験結果

リサーチクエスチョン

• RQ1 2段階の訓練プロセスは、ルール抽出のためのニューラルネットワークの簡略化に効果的か？
• RQ2 プルーニングは予測精度を維持したまま、どの程度不要な特徴量を削除できるか？
• RQ3 抽出されたルールは、ベンチマーク分類データセット全体でどの程度汎化性能を示すか？
• RQ4 提案手法は、モデルの解釈性を向上させつつ高い性能を維持できるか？
• RQ5 ノードおよび接続の自動選択が、ルール品質およびネットワーク効率に与える影響はいかほどか？

主な発見

• 2段階の訓練手法により、不要なノードおよび接続を削除することで、ネットワークの複雑さが著しく低減された。
• 本手法は訓練中に自動的に関連する入力特徴量を同定・保持し、不要な属性を除外した。
• 簡略化されたネットワークから抽出されたルールは、ベンチマークデータセットにおいて優れた汎化性能を示した。
• 本手法は、予測精度と解釈性のバランスを図り、標準的なバックプロパゲーションネットワークのブラックボックス性という限界を克服した。
• 広範な実験により、複数の分類問題においてルール抽出プロセスの有効性が確認された。
• 最終的なネットワーク構造は著しく小さく、解釈性が向上したため、明確な記号的ルールの生成が可能になった。