[論文レビュー] Interpretability Beyond Classification Output: Semantic Bottleneck Networks

Max Losch, Mario Fritz+1 more|arXiv (Cornell University)|Jul 25, 2019

Explainable Artificial Intelligence (XAI)参考文献 33被引用数 28

ひとこと要約

この論文では、高レベルの特徴を事前に定義された意味的コンセプト（例：物体の部分、素材）にマッピングすることで、意味的に解釈可能な中間層を深層学習モデルに埋め込む手法である意味的ボトルネックネットワーク（SBN）を紹介する。特徴次元を数え千から数十チャネルに削減しても、SBNはストリートシーンセグメンテーションで最先端の性能を維持し、予測の完全な解釈可能性を実現する。予測の失敗分析や信頼性推定において、全ピクセルの76.3％で99％以上の正確性を達成する。

ABSTRACT

Today's deep learning systems deliver high performance based on end-to-end training. While they deliver strong performance, these systems are hard to interpret. To address this issue, we propose Semantic Bottleneck Networks (SBN): deep networks with semantically interpretable intermediate layers that all downstream results are based on. As a consequence, the analysis on what the final prediction is based on is transparent to the engineer and failure cases and modes can be analyzed and avoided by high-level reasoning. We present a case study on street scene segmentation to demonstrate the feasibility and power of SBN. In particular, we start from a well performing classic deep network which we adapt to house a SB-Layer containing task related semantic concepts (such as object-parts and materials). Importantly, we can recover state of the art performance despite a drastic dimensionality reduction from 1000s (non-semantic feature) to 10s (semantic concept) channels. Additionally we show how the activations of the SB-Layer can be used for both the interpretation of failure cases of the network as well as for confidence prediction of the resulting output. For the first time, e.g., we show interpretable segmentation results for most predictions at over 99% accuracy.

研究の動機と目的

• エンド・トゥ・エンドの深層学習モデルにおける解釈不能性の問題に対処するため、本質的に解釈可能な中間表現を導入すること。
• エンジニアが人間が理解できる意味的コンセプトを用いて、モデルの意思決定を検査・推論できるようにすること。
• 意味的ボトルネック層を用いて、特徴次元を大幅に削減しながらも最先端の性能を維持すること。
• 予測における欠落または矛盾する意味的証拠を特定することで、失敗分析のためのツールを提供すること。
• 解釈可能な意味的活性化を用いて予測の信頼性を推定することで、モデル出力の信頼性と信頼性を向上させること。

提案手法

• 事前学習済みネットワークの途中特徴を、タスクに関連するコンセプトの事前に定義された意味的空間にマップする関数を後向きに訓練する。
• 元のモデルに意味的ボトルネック（SB）層を挿入し、元の特徴層に置き換え、下流層を微調整する。
• 空間的受容野のピラミッド（3×3）を用いて、意味的活性化を集約し、予測と信頼性推定の堅牢性を高める。
• SB出力上でバイナリ分類器を学習し、各クラスの信頼性を推定する。シグモイド出力を確率の代理として使用する。
• 信頼性予測子を学習する際、誤分類またはおそらく誤標識されたサンプルを除去する二段階のフィルタリング処理を適用する。
• SB層の活性化を活用して、誤りケースを分析し、欠落または矛盾する意味的証拠を特定する。

実験結果

リサーチクエスチョン

• RQ1 性能を損なわせることなく、深層学習モデルに意味的に解釈可能な中間表現を埋め込むことは可能か？
• RQ2 意味的ボトルネック層は、最終分類出力以上のモデル意思決定の解釈性をどのように向上させるか？
• RQ3 意味的活性化を用いて、欠落または矛盾する証拠を検出することで、失敗ケースを診断できるか？
• RQ4 SB出力上で単純な分類器を用いることで、予測の正確性と相関する信頼性推定を信頼できるものとすることができるか？
• RQ5 特徴次元を数え千から数十の意味的チャネルに削減しても、モデルは最先端の性能を維持できるか？

主な発見

• SBNは、特徴次元を数え千から数十の意味的チャネルに削減しても、ストリートシーンセグメンテーションで最先端の性能を達成する。
• 99％以上の予測に対して解釈可能なセグメンテーション結果が得られ、意味的コンセプト証拠の明確な可視化が可能である。
• 誤分類の多くは、部品検出ができないぼやけた領域や、正しい手がかりを上回る周囲のテクスチャが原因で、欠落または矛盾する意味的証拠に起因している。
• 単一隠れ層分類器に基づく信頼性予測子は、全ピクセルの76.3％で99％以上の正確性を達成し、非解釈可能なベースラインと密接に一致する。
• 直接関連する意味的コンセプトを持つクラスでは、信頼性予測がより正確になるため、SBにおけるコンセプト整合性の価値が示された。
• SB層により、たとえば特定の意味的証拠を追加することで予測が正しいクラスに変わるかどうかを仮説検証できるようになる。