[論文レビュー] Now You See Me (CME): Concept-based Model Extraction

Dmitry Kazhdan, Botty Dimanov+3 more|arXiv (Cornell University)|Oct 25, 2020

Topic Modeling参考文献 26被引用数 23

ひとこと要約

CMEは、深層ニューラルネットワーク（DNN）から解釈可能なモデルを抽出・分析する、モデルに依存しない概念ベースのフレームワークである。入力から概念（I-to-C）および概念から出力（C-to-O）への関数を用い、ピクセルレベルの入力を人間が理解できる概念にマッピングし、ラベルを予測することで、説明可能性、モデルのデバッグ、パフォーマンス向上を実現する。1つの事例研究では、30%の概念のみを用いて14.3%の精度向上を達成した。

ABSTRACT

Deep Neural Networks (DNNs) have achieved remarkable performance on a range of tasks. A key step to further empowering DNN-based approaches is improving their explainability. In this work we present CME: a concept-based model extraction framework, used for analysing DNN models via concept-based extracted models. Using two case studies (dSprites, and Caltech UCSD Birds), we demonstrate how CME can be used to (i) analyse the concept information learned by a DNN model (ii) analyse how a DNN uses this concept information when predicting output labels (iii) identify key concept information that can further improve DNN predictive performance (for one of the case studies, we showed how model accuracy can be improved by over 14%, using only 30% of the available concepts).

研究の動機と目的

• 特徴重要度手法の限界を解決する。特徴重要度手法は脆弱であり、人間の理解を深めることができない。
• 既存の概念ベースの説明手法の欠点を克服する。多値概念のバイナリゼーションを必要とし、単一レイヤーの潜在表現に依存する。
• DNNがどのように学習し、概念情報を複数のレイヤーにわたって表現・利用するかを包括的に分析可能にし、モデルの解釈可能性とパフォーマンスを向上させる。
• モデル検証、デバッグ、知識抽出を概念ベースの説明を通じて支援する汎用的かつモデルに依存しないフレームワークを提供する。

提案手法

• 2段階のモデル抽出パイプラインを導入する：(1) 入力から概念（I-to-C）関数。マルチレイヤー潜在空間の情報を用いて、入力データを概念表現にマッピングする。
• 概念から出力（C-to-O）関数を用い、抽出された概念と最終予測との関数的関係をモデル化することで、解釈可能な意思決定ルールを可能にする。
• 概念抽出の品質を評価するための新規指標を採用し、概念表現の堅牢性と忠実性を保証する。
• マルチレイヤー潜在空間解析を活用して、最適な概念抽出レイヤーを特定し、単一レイヤー手法のトレードオフを回避する。
• クラスタリングおよび多様体可視化技術を用いて、DNNの各レイヤーにどのように概念値がエンコードされているかを検査する。
• 既存の潜在空間解析ツールと概念ベースの説明を統合し、モデルの検査、検証、知識抽出を支援する。

実験結果

リサーチクエスチョン

• RQ1 DNNの意思決定を個々の特徴やピクセルではなく、人間が理解できる概念の観点からどのように分析できるか。
• RQ2 DNNが学習する概念情報が、ネットワークの異なるレイヤーでどのように変化するか。
• RQ3 概念ベースの説明は、モデルの解釈可能性、デバッグ、パフォーマンス向上にどの程度寄与できるか。
• RQ4 最小限のデータで顕著なパフォーマンス向上をもたらす、重要な概念情報は特定可能か。
• RQ5 バイナリゼーションを回避することで、多値概念を効果的に扱う方法は何か。これにより、基数の爆発や相乗的排他性の誤りを回避できるか。

主な発見

• CMEは、元のモデルの挙動を忠実に再現するが、人間が理解できる解釈可能なモデルをDNNから効果的に抽出できた。
• 本フレームワークは、DNNが複数のレイヤーにわたって概念情報をどのように表現・利用するかを定性的かつ定量的に分析可能である。
• Caltech UCSD Birdsの事例研究では、利用可能な概念のうち30%のみを用いて、14%以上の精度向上を達成した。これは、本フレームワークがパフォーマンス向上の可能性を有していることを示している。
• CMEは、DNNの高レイヤーでは、概念値に対してより単峰性で分離可能な多様体が得られることを特定した。これは、概念の分離度が向上していることを示している。
• C-to-O関数（例：決定木）は、予測において概念がどのように関数的に組み合わされるかを明らかにし、誤ったまたはバイアスのかかった意思決定パターンの検出を可能にした。
• 提案された概念抽出品質の評価指標は、異なる概念学習手法の比較と検証を信頼できる方法で可能にした。