[論文レビュー] Concept Gradient: Concept-based Interpretation Without Linear Assumption

Andrew Bai, Chih‐Kuan Yeh+3 more|arXiv (Cornell University)|Aug 31, 2022

Data Stream Mining Techniques被引用数 5

ひとこと要約

本稿では、概念活性化ベクトル（CAV）の非線形拡張として、チェーンルールを用いて後処理で定義された概念関数に関するモデル予測の勾配を計算する、概念勾配（CG）を提案する。これにより、より正確で因果的解釈可能な概念重要度推定が可能になる。実世界のデータセットにおいて、CGは平均的な局所再現率@30で7.9%、グローバル再現率@30で21.7%の性能向上を達成し、線形ケースではCAVを再現する。

ABSTRACT

Concept-based interpretations of black-box models are often more intuitive for humans to understand. The most widely adopted approach for concept-based interpretation is Concept Activation Vector (CAV). CAV relies on learning a linear relation between some latent representation of a given model and concepts. The linear separability is usually implicitly assumed but does not hold true in general. In this work, we started from the original intent of concept-based interpretation and proposed Concept Gradient (CG), extending concept-based interpretation beyond linear concept functions. We showed that for a general (potentially non-linear) concept, we can mathematically evaluate how a small change of concept affecting the model's prediction, which leads to an extension of gradient-based interpretation to the concept space. We demonstrated empirically that CG outperforms CAV in both toy examples and real world datasets.

研究の動機と目的

• 概念活性化ベクトル（CAV）の制限を解決すること。CAVは、概念がモデル活性化の線形部分空間にあるという制限された仮定に依存している。
• 勾配ベースの解釈を概念空間に拡張する手法を開発すること。これにより、概念の小さな変化がモデル予測に与える影響を捉える。
• CAVで用いられる相関に基づく内積を避ける、因果的解釈可能な概念重要度の測定法を提供すること。
• 非線形概念関数が、実世界のデータセットにおいて線形近似よりもより正確で頑健な概念重要度スコアをもたらすことを示すこと。
• 心筋梗塞合併症の画像分類タスクにおいて、CGが臨床的知識と整合することを検証すること。

提案手法

• CGは、モデル出力および概念関数の両方の入力に関する勾配を計算する。
• これら勾配を組み合わせるためにチェーンルールを適用し、効果的にモデル出力の概念に関する導関数を推定することで、勾配ベースの概念重要度を実現する。
• 概念が非線形的に定義されていても、モデル予測に対する概念の局所的感度を捉える。
• 概念関数が線形の場合、CGは数学的にCAV手法を再現する（スケーリングの違いを除く）ため、先行研究と整合性がある。
• 一意でないマッピングが存在する場合、CGは勾配ノルムが最小となるマッピングを選択することで、概念重要度の過大評価を防ぐ。
• 微調整の直前の層に適用することで、標準的なディープラーニングパイプラインと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 入力特徴から後処理で定義された非線形概念へ、勾配ベースの解釈を意味的に拡張できるか？
• RQ2 CAVの線形部分空間仮定を緩和することで、より正確で信頼性の高い概念重要度推定が可能になるか？
• RQ3 複雑で非線形的な概念を含む実世界のデータセットにおいて、CGはCAVに比べて再現率性能で優れているか？
• RQ4 CGは、医療画像解釈タスクにおいて臨床的知識と整合する概念重要度スコアを生成できるか？
• RQ5 複数の概念マッピングが存在する場合、CGは概念重要度の過大評価を回避できるか？

主な発見

• CGは、データセット全体で平均的な最良の局所再現率@30が7.9%高いという点で、常にCAVを上回る。
• グローバル再現率@30では、最高のCAV性能に比べ21.7%高い結果を達成し、関連する概念の検索性能が向上していることが示された。
• 心筋梗塞合併症の医療データセットにおいて、CGスコアは臨床文献と整合しており、例えば再発性心筋梗塞や心不全を高リスク合併症として適切にランク付けした。
• まれだが致死的な合併症（心筋塞栓）に対しては、CGは高い重要度スコア（1.62）を割り当てており、臨床報告の致死率の高さと整合的であった。
• CAVが直感的でない、あるいは誤解を招くスコア（既知のリスク要因に対して負の値）を出力する場合、CGはより妥当で解釈可能な結果を提供した。
• 概念関数が線形の場合、CGは正確にCAV手法を再現し、理論的整合性が裏付けられた。