[論文レビュー] Rule Extraction Algorithm for Deep Neural Networks: A Review

Tameru Hailesilassie|arXiv (Cornell University)|Jan 1, 2016

Neural Networks and Applications被引用数 20

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）のルール抽出アルゴリズムをレビューし、分解型、教授型、多様型のアプローチに分類している。著者らは、極めて高い精度を示すにもかかわらず、DNNからの解釈可能なルールの抽出に関する研究が限られているという深刻なギャップを特定しており、意思決定システムにおける説明可能なAIの必要性を強調している。

ABSTRACT

Despite the highest classification accuracy in wide varieties of application areas, artificial neural network has one disadvantage. The way this Network comes to a decision is not easily comprehensible. The lack of explanation ability reduces the acceptability of neural network in data mining and decision system. This drawback is the reason why researchers have proposed many rule extraction algorithms to solve the problem. Recently, Deep Neural Network (DNN) is achieving a profound result over the standard neural network for classification and recognition problems. It is a hot machine learning area proven both useful and innovative. This paper has thoroughly reviewed various rule extraction algorithms, considering the classification scheme: decompositional, pedagogical, and eclectics. It also presents the evaluation of these algorithms based on the neural network structure with which the algorithm is intended to work. The main contribution of this review is to show that there is a limited study of rule extraction algorithm from DNN.

研究の動機と目的

• 分類体系に基づいて、深層ニューラルネットワーク（DNN）の既存のルール抽出アルゴリズムを分析・分類すること。
• 特定のDNNアーキテクチャと関連して、ルール抽出アルゴリズムの性能と適用可能性を評価すること。
• 特に深層アーキテクチャを対象とした研究が著しく不足していることから、DNNからのルール抽出における研究ギャップを同定すること。
• モデルの透明性と意思決定の説明可能性を向上させる手法をレビューすることで、解釈可能なAIの開発を支援すること。

提案手法

• 論文は、ルール抽出アルゴリズムを3つの主要な体系に分類する体系的なレビューを実施している：分解型、教授型、多様型。
• 各アルゴリズムを、フィードフォワード、畳み込み、再帰的ネットワークを含む、その背後にあるニューラルネットワーク構造に基づいて評価している。
• 重みの解釈、レイヤーごとの特徴抽出、隠れユニットの活性化からのルール生成といった、アルゴリズム的メカニズムに焦点を当てている。
• 異なるDNNアーキテクチャ間で、抽出されたルールの解釈可能性、正確性、一般化性能を比較している。
• ルール抽出技術の構造的・機能的差異と、深層学習モデルとの互換性に特に注目している。

実験結果

リサーチクエスチョン

• RQ1 DNNのルール抽出アルゴリズムで用いられる主な分類体系は何か？
• RQ2 ルール抽出アルゴリズムは、異なるDNNアーキテクチャとどの程度適合するか？
• RQ3 現在のDNNからのルール抽出に関する研究における主な制限要因は何か？
• RQ4 既存のルール抽出手法は、DNNの正確性と解釈可能性をどの程度維持しているか？

主な発見

• DNNは広く使用されており、高い性能を示すにもかかわらず、深層ニューラルネットワークからのルール抽出に特化した研究が著しく不足している。
• 大多数のルール抽出手法は、CNN や RNN などの深層アーキテクチャではなく、標準的なフィードフォワードネットワークを対象として設計されている。
• 教授型および多様型のアプローチは有望であるが、DNNの文脈ではまだ十分に検討されていない。
• 本レビューでは、DNNが学習する階層的かつ非線形な表現に特化した、新たなルール抽出手法の開発が不可欠であると同定している。