[論文レビュー] ELUDE: Generating interpretable explanations via a decomposition into labelled and unlabelled features

V. Ramaswamy, Sunnie S. Y. Kim+3 more|arXiv (Cornell University)|Jun 15, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

ELUDE は、深層学習モデルの予測を解釈可能な意味的属性とラベルなしの低次元特徴に分解する、新しい説明フレームワークである。これにより、グローバルおよびローカルな解釈性が可能となる。実験では、8〜16個の追加ラベルなし特徴で、モデル予測の80％以上を説明可能であり、『ボウリングアーケード』 や『城のような建物』といった、モデル意思決定において重要な新たな視覚的コンセプトが明らかになった。

ABSTRACT

Deep learning models have achieved remarkable success in different areas of machine learning over the past decade; however, the size and complexity of these models make them difficult to understand. In an effort to make them more interpretable, several recent works focus on explaining parts of a deep neural network through human-interpretable, semantic attributes. However, it may be impossible to completely explain complex models using only semantic attributes. In this work, we propose to augment these attributes with a small set of uninterpretable features. Specifically, we develop a novel explanation framework ELUDE (Explanation via Labelled and Unlabelled DEcomposition) that decomposes a model's prediction into two parts: one that is explainable through a linear combination of the semantic attributes, and another that is dependent on the set of uninterpretable features. By identifying the latter, we are able to analyze the "unexplained" portion of the model, obtaining insights into the information used by the model. We show that the set of unlabelled features can generalize to multiple models trained with the same feature space and compare our work to two popular attribute-oriented methods, Interpretable Basis Decomposition and Concept Bottleneck, and discuss the additional insights ELUDE provides.

研究の動機と目的

• 属性ベースの説明が、複雑な深層学習モデルを完全に捉えることの限界を解消すること。
• 利用可能な意味的属性を超えて、モデル予測における説明不能なコンponents を特定・分析すること。
• モデル行動を解釈可能な部分と解釈不能な部分に分解することで、グローバルな解釈性を実現する手法の開発。
• ラベルなし特徴の少数で、属性中心の手法に比べて顕著に説明性能が向上することを示すこと。
• 同じ特徴空間で学習された複数のモデルに対して、ラベルなし特徴空間が一般化できることを示すこと。

提案手法

• ブラックボックスモデルの挙動を模倣するために、既知の意味的属性に基づく線形分類器を学習する。
• ブラックボックスモデルの特徴空間から、説明不能なコンponents を捉えるために低ランク部分空間への射影を計算する。
• 属性ベースの説明と低ランク特徴表現を組み合わせて、完全な予測を再構築する。
• 可視化と活性化解析を用いて、ラベルなし特徴空間の各次元の意味を解釈する。
• CUB および Places365 データセットにおける標準的な ResNet18 および Concept Bottleneck モデルに、このフレームワークを適用する。
• 同じデータ分布から学習された複数のモデルに対して共通の低ランク部分空間を学習することで、一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 意味的属性のみで、複雑な深層学習モデルの予測をどの程度説明できるか？
• RQ2 既知の属性を考慮した後、残りのモデル行動を説明するために、どの程度のラベルなし特徴が必要か？
• RQ3 ラベルなし特徴空間から浮き彫りになる視覚的コンセプトは何か？また、それらは意味的に意味を持つものか？
• RQ4 1つのモデルから学習した低ランクラベルなし特徴空間は、同じデータで学習された他のモデルの説明に一般化可能か？
• RQ5 標準モデルと、設計上解釈可能な Concept Bottleneck モデルとの間で、属性ベースの説明性能にはどのような差があるか？

主な発見

• Places365 の 365 クラスのシーン分類モデルでは、ラベルなし特徴空間でたった 8 次元で、80％以上の予測を説明可能である。
• CUB データセットでは、Concept Bottleneck モデルの予測の80％以上を説明するために、16次元のラベルなし特徴空間で十分である。
• ELUDE が特定した最重要属性のうち、1クラスあたり平均して10個の属性のうち2つしか、元の Concept Bottleneck モデルのものと重複していない。
• ラベルなし特徴空間における高活性化画像を可視化すると、『ボウリングアーケード』 や 『城のような建物』といった意味のあるコンセプトが明らかになる。
• ラベルなし特徴空間はモデル間で一般化可能である：同じ特徴空間で学習されたモデルに対して、共通の低ランク部分空間を学習し、未学習のモデルの説明に利用可能である。
• 標準的な ResNet18 モデルは Concept Bottleneck モデルほど属性に依存しておらず、属性のみで説明可能な予測は26.6％にとどまり、説明の上限に達するには最大ランク32が必要となる。