[論文レビュー] Layerwise Knowledge Extraction from Deep Convolutional Networks

Simon Odense, Artur d’Avila Garcez|arXiv (Cornell University)|Mar 19, 2020

Explainable Artificial Intelligence (XAI)参考文献 29被引用数 5

ひとこと要約

この論文は、ルールの複雑さと正確性のバランスをとるため、階層別 M-of-N ルール抽出手法を提案する。内部層は説明可能性に抵抗するが、ソフトマックス層はコンパクトで正確なルールにより説明可能であることが判明し、解釈可能な AI のためのハイブリッド説明可能性アプローチが可能になる。

ABSTRACT

Knowledge extraction is used to convert neural networks into symbolic descriptions with the objective of producing more comprehensible learning models. The central challenge is to find an explanation which is more comprehensible than the original model while still representing that model faithfully. The distributed nature of deep networks has led many to believe that the hidden features of a neural network cannot be explained by logical descriptions simple enough to be comprehensible. In this paper, we propose a novel layerwise knowledge extraction method using M-of-N rules which seeks to obtain the best trade-off between the complexity and accuracy of rules describing the hidden features of a deep network. We show empirically that this approach produces rules close to an optimal complexity-error tradeoff. We apply this method to a variety of deep networks and find that in the internal layers we often cannot find rules with a satisfactory complexity and accuracy, suggesting that rule extraction as a general purpose method for explaining the internal logic of a neural network may be impossible. However, we also find that the softmax layer in Convolutional Neural Networks and Autoencoders using either tanh or relu activation functions is highly explainable by rule extraction, with compact rules consisting of as little as 3 units out of 128 often reaching over 99% accuracy. This shows that rule extraction can be a useful component for explaining parts (or modules) of a deep neural network.

研究の動機と目的

• 深層ニューラルネットワークの説明を解決すること。これは、分散表現のため、しばしば「ブラックボックス」と見なされるからである。
• ルール抽出が、深層ネットワークの隠れ特徴の理解しやすい、正確な記号的記述を生成できるかどうかを調査すること。
• 畳み込みニューラルネットワークの異なる層において、ルールの複雑さと正確性のトレードオフを評価すること。
• 深層ネットワークの分散的性質がルール抽出を根本的に制限するのか、それとも特定の層は記号的説明に適しているのかを特定すること。
• ルール抽出を、深層学習のためのマルチメソッド説明フレームワークの一部として実現可能かどうかを検討すること。

提案手法

• 目的関数におけるペナルティ項 β を用いて、複雑さを制御することで、M-of-N ルール空間における並列探索を用いて、複雑さと正確性のバランスが取れたルールを特定する。
• ルールは、正確性（ネットワーク出力と一致する度合い）と複雑さ（M-of-N 条件に含まれるユニット数）に基づいて評価される。
• アルゴリズムは、異なる層および活性化関数の間での説明可能性の比較を重視しながら、深層ネットワークの各層に対して段階的に適用される。
• 小さなネットワークでの結果の妥当性を検証するために、最適探索ベースライン（CORELS）が使用される。その後、大規模モデルにスケーリングされる。
• ルール構築を効率的に行うために、重みの順序付けを仮定し、ルール空間の探索を支援する。
• 複数の CNN に対して評価が行われ、MNIST、Fashion-MNIST、Olivetti Faces データセットで訓練されたモデルを用い、さまざまな複雑さペナルティでの結果が報告されている。

実験結果

リサーチクエスチョン

• RQ1 M-of-N ルール抽出は、深層畳み込みニューラルネットワークの隠れ特徴について、正確で理解しやすい記号的記述を生成できるか？
• RQ2 異なるネットワーク層の説明可能性は、ルールの複雑さと正確性の観点からどのように比較できるか？
• RQ3 活性化関数の選択（例：ReLU、tanh、ソフトマックス）が、特定の層におけるルール抽出の成功に影響を与えるか？
• RQ4 分散表現ゆえに内部層におけるルール抽出に根本的な障壁があるのか、それともより良い手法で克服できるのか？
• RQ5 最終的なソフトマックス層からのルール抽出が、ハイブリッド説明フレームワークにおける堅牢で解釈可能なコンponentとして機能できるか？

主な発見

• ReLU や tanh の活性化関数を用いた深層 CNN やオートエンコーダーのソフトマックス層は、非常に説明可能であり、128 個のユニットのうち 3 個の M-of-N 条件で 99% を超える正確性を達成している。
• Olivetti Faces データセットでは、ソフトマックス層からのルールが β=0 の場合に 100% の正確性（複雑さ 0.03）を達成し、β=0.1 にすると正確性はわずか 0.1% 減少して 0.024 に低下した。
• Fashion-MNIST では、複雑さが β=0.1 で 0.28 から 0.06 に低下し、正確性は 99.3% から 98.8% にわずかに低下した—これは最小限の正確性の損失で高い解釈可能性を示している。
• 深層ネットワークの内部層では、ルール抽出の性能が著しく低く、分散表現を記号的ルールで説明する上で根本的な制限があると考えられる。
• この手法により、ルール抽出のランドスケープが成功裏にマップされ、複雑さペナルティ（β）を増加させると、ルールサイズが著しく減少し、正確性の低下もわずかであることが明らかになった。
• 予備の結果では、出力層からの M-of-N ルールは、元の CNN よりも FGSM の adversarial 攻撃に対してより頑健であり、1000 個の adversarial 例のうち 376 個が正しく分類された。