[論文レビュー] Distilling a Deep Neural Network into a Takagi-Sugeno-Kang Fuzzy Inference System

Xiangming Gu, Cheng Xiang|arXiv (Cornell University)|Oct 10, 2020

Neural Networks and Applications参考文献 21被引用数 11

ひとこと要約

この論文では、深層ニューラルネットワーク（DNN）からタカギ＝スゲノ＝カン fuzzy inference system（FIS）への知識蒸留を提案し、分類のためのより解釈可能なルールベースのモデルを構築する。修正されたKD手法を用いた知識蒸留とPCAによる特徴抽出を適用することで、ベースラインモデルを上回る高い精度を達成するとともに、ファジィルールを通じて透明な意思決定の説明を可能にする。

ABSTRACT

Deep neural networks (DNNs) demonstrate great success in classification tasks. However, they act as black boxes and we don't know how they make decisions in a particular classification task. To this end, we propose to distill the knowledge from a DNN into a fuzzy inference system (FIS), which is Takagi-Sugeno-Kang (TSK)-type in this paper. The model has the capability to express the knowledge acquired by a DNN based on fuzzy rules, thus explaining a particular decision much easier. Knowledge distillation (KD) is applied to create a TSK-type FIS that generalizes better than one directly from the training data, which is guaranteed through experiments in this paper. To further improve the performances, we modify the baseline method of KD and obtain good results.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における解釈不能性の問題に対処し、ルールベースで説明可能なモデルに変換すること。
• 知識蒸留（KD）を活用して、DNNの知識を一般化性能の向上を図るTSK型ファジィ推論システム（FIS）に移譲すること。
• DNNの意思決定を人間が読み取り可能なファジィルールによって表現することで、モデルの解釈性を向上させること。
• TSK-FISアーキテクチャに特化した修正KD手法を用いることで、学生FISモデルの性能と一般化能力を向上させること。
• ベンチマークデータセット（MNIST、FashionMNIST）上で本手法を検証し、意思決定木やCNN+TSKハイブリッドモデルといった既存の解釈可能なモデルと比較すること。

提案手法

• 本手法は、事前に訓練済みのDNN（教師）からTSK型FIS（生徒）へ知識蒸留を用いて知識を移譲する。生徒FISはDNNの出力確率を模倣するように学習する。
• 入力特徴量は主成分分析（PCA）を用いて次元削減され、解釈性の向上と次元の低減が行われ、その後FISに供給される。
• 生徒FISはPCA変換済み特徴量上でオンライン学習が行われるが、教師モデルは元のデータ上で事前学習されているため、クロスモダリティ知識蒸留を模倣している。
• 教師モデルと生徒モデルの一般化ギャップを考慮した修正知識蒸留手法を提案し、性能向上を図っている。
• TSK-FISの各ファジィルールは、前件（ガウス型所属関数）と結果（線形出力）から構成され、積和Tノルムを用いてルールの発火強度が計算され、正規化される。
• 最終的な予測は、正規化された発火強度を重みとして用いたルール出力の重み付き平均から得られ、確率出力のためのソフトマックス変換が適用される。

実験結果

リサーチクエスチョン

• RQ1 DNNからTSK型FISへの意思決定知識の知識蒸留は、精度を保持しつつ解釈性を向上させるために効果的か？
• RQ2 DNNから蒸留されたTSK-FISの性能は、標準ベンチマークデータセット上で意思決定木に知識蒸留を適用した場合と比較してどうか？
• RQ3 入力特徴量の次元削減にPCAを用いることで、蒸留されたTSK-FISの解釈性と性能はどの程度向上するか？
• RQ4 提案された修正知識蒸留手法は、ベースラインKD手法と比較してTSK-FISの一般化能力と精度を向上させるか？
• RQ5 TSK-FISモデルは、ルールベースの推論を通じて、人間が理解可能な意味のある説明を分類意思決定に対して提供できるか？

主な発見

• 提案手法はMNISTで97.91%、FashionMNISTで88.49%の精度を達成し、DT+KDベースライン（96.76%）およびCNN+TSKモデル（MNIST: 97.52%、FashionMNIST: 84.50%）を上回った。
• 修正知識蒸留手法により、MNISTではベースラインKDと比較して生徒モデルの精度が1.6%向上し、FashionMNISTでは1.5%向上した。ベースラインKD自体もそれぞれ1.2%および0.8%向上した。
• 生徒モデルは12Kの学習可能なパラメータしか使用せず、DNN教師モデルの120K（MNIST）および1.694M（FashionMNIST）と比べて著しく少ないため、ストレージおよび推論コストが削減された。
• MNISTでは、生徒モデルの訓練速度が教師モデルの16倍速く、CPU上で1エポックあたり3.3秒（教師：53秒）であった。これは、訓練効率の優位性を示している。
• モデルは透明な意思決定説明を提供する。ルール発火強度と結果スコアから、特徴量の寄与度やカテゴリ間の類似性（例：スニーカー、サンダル、アコーディオンブーツがルール出力で近接して関連付けられている）が明らかになる。
• ルール活性化の可視化により、モデルが正しいクラス（スニーカー）に対して最も高い発火強度とスコアを正しく識別していることが確認され、ルールベースシステムの解釈可能性が裏付けられた。