[論文レビュー] Do Concept Bottleneck Models Learn as Intended?

Andrei Margeloiu, Matthew Ashman+4 more|arXiv (Cornell University)|May 10, 2021

Explainable Artificial Intelligence (XAI)参考文献 8被引用数 18

ひとこと要約

本稿では、概念ボトルネックモデル（CBMs）が意図した通りに学習されるかを調査し、ジョイント学習および順次学習が入力空間における意味的に有意義な概念を生成しないことを明らかにした。後処理による解釈可能性手法（例：Integrated Gradients）を用いて、概念が関連する入力領域に対応していないことを示した。これは、解釈可能性、予測可能性、干渉可能性の3つの側面を損なうものであり、現段階のCBMsでは独立学習が唯一実行可能なアプローチである可能性を示唆している。

ABSTRACT

Concept bottleneck models map from raw inputs to concepts, and then from concepts to targets. Such models aim to incorporate pre-specified, high-level concepts into the learning procedure, and have been motivated to meet three desiderata: interpretability, predictability, and intervenability. However, we find that concept bottleneck models struggle to meet these goals. Using post hoc interpretability methods, we demonstrate that concepts do not correspond to anything semantically meaningful in input space, thus calling into question the usefulness of concept bottleneck models in their current form.

研究の動機と目的

• 概念ボトルネックモデル（CBMs）が、解釈可能性、予測可能性、干渉可能性という3つの核心的望ましい特性を満たしているかどうかを評価すること。
• CBMsにおける事前に指定された概念が、入力空間における意味的に有意義な特徴に対応しているかどうかを調査すること。
• ジョイント、順次、独立の3つの学習戦略が、CBMsの目的を達成するためにどれほど有効であるかを評価すること。
• 既存の後処理による解釈可能性手法が、CBMs内の概念表現を分析するうえでどのような限界を有するかを検討すること。
• CBMsのジョイント学習が、概念的に意味的で有用な表現を生み出すという仮定を疑問視すること。

提案手法

• 著者らは、各概念における入力空間の特徴の重要度を分析するために、Integrated Gradients、Gradients、SmoothGradといった後処理による解釈可能性技術を用いた。
• 独立（gとfを正例概念を用いて別々に学習）、順次（fに予測された概念を使用）、ジョイント（gとfを重み付き損失で同時に学習）の3つの学習戦略を評価した。
• 概念層から入力空間へと逆伝播することで、各概念に対して最も影響を及ぼす入力領域を可視化するためのサリエンシーマップを生成した。
• 予測された概念値と真の概念値の相関係数（R²）を用いて、CBMsの性能を評価した。また、異なるモデル間のターゲット予測の相関についても比較を行った。
• 2つのベンチマークデータセット（OAI：レントゲン画像のグレーディングに10の臨床的概念、CUB：鳥の識別に112の意味的属性）を用いて実験を行った。
• 1つあたりのエンコーディングやスカラ値など、異なる概念表現（例：one-hotエンコーディング）の下でのモデル挙動を比較し、予測された概念を真値に置き換えることで干渉可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 ジョイントまたは順次学習を用いた概念ボトルネックモデルは、入力空間における意味的に有意義な特徴に対応する概念を学習できるか？
• RQ2 CBMsはどの程度、解釈可能性、予測可能性、干渉可能性という3つの望ましい特性を満たしているか？
• RQ3 Integrated Gradientsのような後処理による解釈可能性手法は、CBMの概念に対する入力特徴の重要度をどの程度適切に割り当てられるか？
• RQ4 独立学習戦略が、現段階のCBMフレームワークにおいて、3つの望ましい特性をすべて満たすために唯一実行可能な方法であるか？
• RQ5 概念表現（例：one-hot vs. スカラ値）は、CBMsにおける干渉可能性と概念学習の成功にどのように影響を与えるか？

主な発見

• ジョイントおよび順次のCBMバージョンは、サリエンシーマップが全体的な物体（例：羽や脚）に注目するなど、意味的に有意義な入力領域に対応しない概念を学習していることが判明した。
• 『羽の模様』という概念に関して、ジョイントおよび独立モデルともに、全体の鳥に重要度が割り当てられており、羽の部分にのみ注目していないことから、概念の空間的局在化が不十分であることが示された。
• 鳥の画像における『脚の色』という概念では、複数のサリエンシーマップ手法においても脚に注目が向かないことが確認され、概念が意図した視覚的領域に対応していないことが裏付けられた。
• 予測された概念値と真の概念値の相関係数は、ジョイントモデル（R² = 0.24）および順次モデル（R² = 0.07）において顕著に低く、コンセプトオラクル（R² = 0.47）と比較して劣っていることから、概念予測の精度が低いことが示された。
• 独立CBMはコンセプトオラクルと最も高い相関（R² = 0.47）を示しており、概念の整合性が最も保たれており、現段階のCBMsでは唯一実行可能な学習戦略である可能性がある。
• 本研究は、既存のサリエンシーマップ手法がCBMs内の概念表現を解釈するのに不適切である可能性を示唆しており、より優れたアトリビューション手法の開発が急務であることを強調している。