[論文レビュー] Label-Free Explainability for Unsupervised Models

Jonathan Crabbé, Mihaela van der Schaar|arXiv (Cornell University)|Mar 3, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

この論文は、ラベルなしで教師なしモデルの潜在表現を解釈可能にするため、後処理特徴および例の重要度手法を拡張し、ラベルなしで潜在表現を解釈するラベルフリーの説明可能性を導入する。特徴の影響を定量化するために、局所的勾配マップを用いたアトリビューションスコアを計算し、特徴の重要度を潜在ユニットごとに測定する。また、局所的勾配マップの分散を表す「局所的勾配エントロピー」と「アトリビューション比」を導入し、特徴が潜在ユニットに与える影響を定量化する。MNISTおよびdSpritesデータセットにおけるオートエンコーダーの実験から、特徴の分離度が向上するにつれて局所的勾配エントロピーが低下し、より集中的かつ解釈可能な表現が得られることを示した。

ABSTRACT

Unsupervised black-box models are challenging to interpret. Indeed, most existing explainability methods require labels to select which component(s) of the black-box's output to interpret. In the absence of labels, black-box outputs often are representation vectors whose components do not correspond to any meaningful quantity. Hence, choosing which component(s) to interpret in a label-free unsupervised/self-supervised setting is an important, yet unsolved problem. To bridge this gap in the literature, we introduce two crucial extensions of post-hoc explanation techniques: (1) label-free feature importance and (2) label-free example importance that respectively highlight influential features and training examples for a black-box to construct representations at inference time. We demonstrate that our extensions can be successfully implemented as simple wrappers around many existing feature and example importance methods. We illustrate the utility of our label-free explainability paradigm through a qualitative and quantitative comparison of representation spaces learned by various autoencoders trained on distinct unsupervised tasks.

研究の動機と目的

• 教師あり設定とは異なり、ラベルのない潜在表現を解釈するための説明可能性の欠如に対処すること。
• 元々教師あり設定を想定して開発された後処理説明手法を、ラベルなしの教師なし環境へと拡張すること。
• 出力ラベルが存在しない表現空間において、特徴および例の重要度分析を可能にすること。
• モデルの入力と潜在活性化のみを用いて、ブラックボックス表現を一貫的かつ一般化可能な枠組みで解釈するための原則的フレームワークを提供すること。

提案手法

• 入力特徴から各潜在ユニットへのアトリビューションスコアを勾配ベースの局所的勾配マップにより計算することで、ラベルフリーの特徴重要度を提案する。
• 潜在ユニット全体にわたる重要度を正規化するため、アトリビューション比 $ p_j(i,\boldsymbol{x}) = \frac{|a_i(\mu_j,\boldsymbol{x})|}{\sum_{k=1}^{d_H}|a_i(\mu_k,\boldsymbol{x})|} $ を定義する。
• 局所的勾配エントロピー $ S(i,\boldsymbol{x}) = -\sum_{j=1}^{d_H} p_j(i,\boldsymbol{x}) \ln p_j(i,\boldsymbol{x}) $ を導入し、特徴が潜在ユニット全体にわたる感度分布の尺度とする。
• エントロピーを解釈可能性の代理指標として用いる：低エントロピーは、各特徴に対して1つの主要な潜在ユニットに特徴の感度が集中していることを示し、分離度の明確さが向上することを意味する。
• MNISTおよびdSpritesで訓練された変分オートエンコーダー（VAEs）にこのフレームワークを適用し、分離度ハイパーパrameter $\beta$ を変化させた。
• テストデータおよび特徴全体にわたる平均局所的勾配エントロピーを計算するため、経験的期待値 $ \mathbb{E}_{\boldsymbol{X},I}[S(I,\boldsymbol{X})] $ を用いる。

実験結果

リサーチクエスチョン

• RQ1 教師なし表現学習においてラベルが存在しない状況で、特徴の重要度を意味的に定義し、計算することは可能か？
• RQ2 ラベルのない潜在空間において、局所的勾配エントロピーが解釈可能性の信頼できる代理指標として機能するか？
• RQ3 VAEにおける分離度の向上は、局所的勾配エントロピーの低減によって測定されたように、より集中的かつ解釈可能な特徴表現をもたらすか？
• RQ4 既存の後処理説明手法は、変更なしにラベルなしの設定へとどの程度一般化可能か？

主な発見

• 分離度ハイパーパrameter $\beta$ が高くなるにつれて、局所的勾配エントロピーが低下し、特徴の感度がより少ない潜在ユニットに集中していることが示された。
• MNISTでは、$\beta$ と局所的勾配エントロピーのスピアマン相関係数は $\rho = -0.56$ であり、強い負の相関関係があることが示された。
• dSpritesでは、相関係数は $\rho = -0.76$ であり、$\beta$ が高くなるほどエントロピーがさらに著しく低下し、解釈可能性の向上が顕著に観察された。
• 潜在ユニット同士に高い相関関係が存在するにもかかわらず、$\beta$ を増加させることで、1つの特徴に対して同時に活性化されるユニット数が減少し、エントロピーが低下した。
• エントロピー値は最大値（MNISTでは $\ln 3 \approx 1.1$、dSpritesでは $\ln 6 \approx 1.8$）に近い水準を維持しており、大多数のVAEが1つの特徴に対して複数のユニットを同時に活性化していることが示された。
• このフレームワークは、単純なラッパーを用いることで、既存の説明手法をラベルなしの設定へと効果的に拡張でき、表現空間の定性的および定量的分析を可能にした。