[論文レビュー] CRAFT: Concept Recursive Activation FacTorization for Explainability

Thomas Fel, Agustin Martin Picard+6 more|arXiv (Cornell University)|Nov 17, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

CRAFTは、非負値行列分解（NMF）を用いた再帰的コンセプト分解、忠実なコンセプト重要度推定のためのソボルインデックス、および暗黙の微分を用いたコンセプトアトリビューションマップ生成により、深層学習モデルが『何』を、そして『どこ』を見ているかを特定する、画期的なコンセプトベースの説明可能手法を導入する。この手法は、従来のアトリビューション法およびコンセプトベースの手法と比較して、人間の解釈可能性とモデルの忠実性を顕著に向上させる。

ABSTRACT

Attribution methods, which employ heatmaps to identify the most influential regions of an image that impact model decisions, have gained widespread popularity as a type of explainability method. However, recent research has exposed the limited practical value of these methods, attributed in part to their narrow focus on the most prominent regions of an image -- revealing "where" the model looks, but failing to elucidate "what" the model sees in those areas. In this work, we try to fill in this gap with CRAFT -- a novel approach to identify both "what" and "where" by generating concept-based explanations. We introduce 3 new ingredients to the automatic concept extraction literature: (i) a recursive strategy to detect and decompose concepts across layers, (ii) a novel method for a more faithful estimation of concept importance using Sobol indices, and (iii) the use of implicit differentiation to unlock Concept Attribution Maps. We conduct both human and computer vision experiments to demonstrate the benefits of the proposed approach. We show that the proposed concept importance estimation technique is more faithful to the model than previous methods. When evaluating the usefulness of the method for human experimenters on a human-centered utility benchmark, we find that our approach significantly improves on two of the three test scenarios. Our code is freely available at github.com/deel-ai/Craft.

研究の動機と目的

• アトリビューション手法がモデルの注目領域は示せるが、モデルが『何』を見ているかを示さないという限界を是正すること。
• 人為的ラベル付きコンセプトや事前知識なしに、コンセプトの自動発見を可能にすること。
• モデルの説明の忠実性と人間の解釈可能性を向上させること。
• グローバルなコンセプト重要度とローカルなアトリビューションマップを統合するフレームワークを確立すること。
• 人間中心のベンチマークおよびコンピュータビジョンのベンチマークを用いて、手法の有効性を検証すること。

提案手法

• CRAFTは、複数のネットワーク層における特徴マップに非負値行列分解（NMF）を適用し、解釈可能で分離可能なコンセプトを抽出する。
• 再帰的戦略を用いて、層ごとにコンセプトを段階的に分解することで、階層的コンセプト発見を可能にする。
• 各コンセプトのグローバルな重要度を推定するために、TCAVなどの先行手法よりも忠実度の高いソボルインデックスを用いる。
• NMFから得られるコンセプト値を逆伝播可能にするために、暗黙の微分を用い、勾配ベースのコンセプトアトリビューションマップ（コンセプトCAM）を生成する。
• NMF係数を最大化する画像クロップを可視化することで、コンセプトを解釈可能にし、人間の解釈可能性を向上させる。
• 挿入/削除曲線およびコンセプトの有効性と不審者検出に関する人間実験を用いて、手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 人為的ラベルなしで、自己教師ありの再帰的アプローチにより、深層ネットワークの各層に意味的で解釈可能なコンセプトを抽出できるか？
• RQ2 ソボルインデックスを用いたコンセプト重要度推定は、TCAVや他のベースラインと比較して、より忠実な結果をもたらすか？
• RQ3 暗黙の微分を用いて生成されたコンセプトアトリビューションマップは、標準的なピクセルレベルのアトリビューションマップよりも、モデルの意思決定をよりよく説明できるか？
• RQ4 CRAFTは、不審者を特定するなど、コンセプトベースの推論タスクにおける人間のパフォーマンスを向上させるか？
• RQ5 モデルのランダム化に対して頑健であるか。これは、学習済み特徴を捉えているのか、偶然のパターンに依存しているのかを示す。

主な発見

• CRAFTのソボルベースのコンセプト重要度推定は、挿入・削除の両指標においてTCAVを上回り、モデル挙動への忠実度がより高いことを示した。
• 人間実験において、人間中心の有効性ベンチマークの3つのシナリオのうち2つで、特にコンセプトベースの推論タスクにおいて、CRAFTが顕著なパフォーマンス向上を達成した。
• この手法は、ImageNetの予測から『汚れ』『スキー用パンツ』『チェーンソーのエンジン』『木の幹』といった意味的に意味のあるコンセプトを成功裏に抽出した。
• ランダムに初期化されたモデルに対して、意味的に整合性のない結果を生成することで、CRAFTが学習済み表現を捉えているかの sanity check を通過した。
• 暗黙の微分を用いて生成されたコンセプトアトリビューションマップは、『スコップ』画像を誤分類した際、『汚れ』といった明確で解釈可能な視覚的特徴にモデルの注目が集中していることを明確に示した。
• 再帰的分解戦略により、ネットワークの深さにわたり、高レベルおよび低レベルのコンセプトの両方を検出でき、階層的理解の向上が達成された。