[論文レビュー] REx: An Efficient Rule Generator

S. M. Kamruzzaman|arXiv (Cornell University)|Sep 25, 2010

Data Mining Algorithms and Applications参考文献 12被引用数 3

ひとこと要約

REx は、最初の順序のデータ情報を利用して、分類のための最小十分条件を特定することで、訓練済みの人工ニューラルネットワーク（ANN）から要約的で解釈可能な分類規則を抽出する再帰的で規則ベースのアルゴリズムである。重みに依存せず、正確さと一般化性能に優れ、乳がんやアイrisなどのベンチマークデータセットで、元のデータの不一致レベルと同等の誤差率を達成する完璧で順序に依存しない規則を生成する。

ABSTRACT

This paper describes an efficient algorithm REx for generating symbolic rules from artificial neural network (ANN). Classification rules are sought in many areas from automatic knowledge acquisition to data mining and ANN rule extraction. This is because classification rules possess some attractive features. They are explicit, understandable and verifiable by domain experts, and can be modified, extended and passed on as modular knowledge. REx exploits the first order information in the data and finds shortest sufficient conditions for a rule of a class that can differentiate it from patterns of other classes. It can generate concise and perfect rules in the sense that the error rate of the rules is not worse than the inconsistency rate found in the original data. An important feature of rule extraction algorithm, REx, is its recursive nature. They are concise, comprehensible, order insensitive and do not involve any weight values. Extensive experimental studies on several benchmark classification problems, such as breast cancer, iris, season, and golf-playing, demonstrate the effectiveness of the proposed approach with good generalization ability.

研究の動機と目的

• 訓練済みの人工ニューラルネットワークから、解釈可能で検証可能な分類規則を生成する効率的で再帰的な規則抽出手法の開発。
• 重みの値に依存せず、順序に依存しない短い規則の生成。
• 抽出された規則が、元の学習データに存在する不一致率を超えない誤差率を達成することの保証。
• ドメインエキスパートが利用可能なANN由来の知識の解釈可能性とモularityの向上。
• 多様なベンチマーク分類問題において、強力な一般化性能を示すこと。

提案手法

• REx は、最初の順序の情報を利用して入力空間を再帰的に探索し、特定のクラスを他のクラスと区別する最小十分条件を同定する。
• 与えられたクラスのインスタンスを正しく分類する最短の特徴条件の集合を特定することで規則を構築する。
• アルゴリズムは順序に依存しない。つまり、特徴の評価順序に依存せずに規則の品質が保たれる。
• 重みの値に依存するのではなく、データ内の論理的・構造的パターンに注目する。
• 規則生成プロセスはデータの整合性に基づき、抽出された規則が完全である（誤差率がデータの不一致率と一致する）ことを保証する。
• 各クラスに対して反復的に適用され、重複のない、理解しやすい規則の集合が生成される。

実験結果

リサーチクエスチョン

• RQ1 重みの値に依存せずに、訓練済みのANNから短く解釈可能な規則を抽出できるか？
• RQ2 再帰的かつ最初の順序のアプローチは、分類のための最小十分条件をどれほど効果的に同定できるか？
• RQ3 抽出された規則集合が、元のデータの誤差率をどの程度維持できるか、完全な規則生成が可能かどうか。
• RQ4 多様なベンチマーク分類問題において、規則集合の一般化性能はどの程度か？
• RQ5 正確さと解釈可能性を保ったまま、規則抽出プロセスを順序に依存しない形にできるか？

主な発見

• REx は、乳がん、アイris、シーズン、ゴルフプレーなど、複数のベンチマークデータセットで要約的で完全な分類規則を成功裏に抽出した。
• 抽出された規則の誤差率は、元の学習データの不一致率と一致しており、規則の完全性が確認された。
• 未学習データに対しても強力な一般化能力を示し、ロバストネスが裏付けられた。
• 規則は明示的かつ論理的な構造を持つため、ドメインエキスパートによる理解・モジュール化・検証が可能であった。
• REx の再帰的性質により、重みの値に依存せず、特徴空間の効率的探索が可能であった。
• 実世界の分類問題において、最小限の計算オーバーヘッドで効果的かつスケーラブルであることが実証された。