[論文レビュー] ECLAD : Extracting Concepts with Local Aggregated Descriptors

Andrés Felipe Posada-Moreno, Nikita Surya+1 more|arXiv (Cornell University)|Jan 1, 2022

Explainable Artificial Intelligence (XAI)被引用数 2

ひとこと要約

ECLADは、複数の層にわたるピクセル単位の活性化マップを統合することで、局所的集約記述子（LADs）を用いて畳み込みニューラルネットワーク（CNNs）内での視覚的コンセプトの抽出と局所化を行う、新しい概念抽出手法である。この手法は、新しい画像におけるコンセプトの正確な局所化を可能にし、ピクセル単位のアノテーションを備えた合成データセットを用いた定量的検証フレームワークを導入することで、最先端の手法を上回るコンセプトの正しさと重要性スコアリングの性能を達成する。

ABSTRACT

Convolutional neural networks (CNNs) are increasingly being used in critical systems, where robustness and alignment are crucial. In this context, the field of explainable artificial intelligence has proposed the generation of high-level explanations of the prediction process of CNNs through concept extraction. While these methods can detect whether or not a concept is present in an image, they are unable to determine its location. What is more, a fair comparison of such approaches is difficult due to a lack of proper validation procedures. To address these issues, we propose a novel method for automatic concept extraction and localization based on representations obtained through pixel-wise aggregations of CNN activation maps. Further, we introduce a process for the validation of concept-extraction techniques based on synthetic datasets with pixel-wise annotations of their main components, reducing the need for human intervention. Extensive experimentation on both synthetic and real-world datasets demonstrates that our method outperforms state-of-the-art alternatives.

研究の動機と目的

• 既存の概念抽出（CE）手法には局所化の欠如があるため、コンセプトが画像に存在するかどうかは検出できるが、その場所までは特定できないという問題に対処すること。
• 人間の主観的判断に依存しない定量的かつ自動化された検証手順を、ピクセル単位のアノテーションが付与された合成データセットを用いて導入することで、CE手法の評価における主観性と一貫性の欠如を克服すること。
• 医療診断や産業用品質管理などの重要な応用分野におけるCNNの説明の信頼性と解釈可能性を向上させること。
• 人間の視覚的検査に依存することなく、異なるCE技術を比較するためのスケーラブルで客観的なベンチマークを提供すること。
• 学習された特徴の全体的理解と、個々の予測に対する局所的説明の両方を、統合された重要性スコアリングと空間的局所化を通じて実現すること。

提案手法

• 学習済みCNNの複数の中間層からの特徴マップを統合することで、ピクセル単位の活性化のマルチスケール空間的表現を捉える局所的集約記述子（LADs）を抽出する。
• 学習データ全体のLADsに対してクラスタリング（例：k-means）を適用し、学習済みの視覚的コンセプトに対応する明確なパターンを発見する。
• 推論段階では、テスト画像のLADsとクラスターセンターマップとの類似度マップを計算し、関連領域を強調表示するためのマスク処理を実行することで、コンセプトを局所化する。
• 局所化された領域内でのピクセル単位の感受性（例：勾配）を統合することで、局所的説明とグローバル説明をつなぐ概念重要性スコアを計算する。
• コンセプトのグランドトゥルースであるピクセル単位のアノテーションを備えた制御されたデータを生成するための合成データセット生成パイプラインを用いることで、客観的な評価を可能にする。
• グランドトゥルースアノテーションに基づいて、2つの新しい指標—コンセプト表現の正しさとコンセプト重要性の正確さ—を導入し、CE性能を定量的に評価する。

実験結果

リサーチクエスチョン

• RQ1 概念抽出手法は、CNNの予測において、正確なコンセプト検出と正確な空間的局所化を両立させることができるか？
• RQ2 主観的な人間の判断に依存せずに、CE手法の性能をどのように客観的に評価できるか？
• RQ3 異なるCE手法は、アノテーションが明確に与えられた合成データセットにおけるグランドトゥルースの視覚的コンセプトとどの程度一致するか？
• RQ4 ネットワークの層の選択と集約戦略の選定が、抽出されたコンセプトの品質と解釈可能性にどのように影響するか？
• RQ5 一貫性がありスケーラブルな指標を用いて、多様なCE手法を公平に比較できる統合された検証フレームワークを確立できるか？

主な発見

• ECLADは、6つの合成データセットすべてにおいて、最先端の手法（ACEおよびConceptShap）を上回るコンセプト表現の正しさを達成し、正しい視覚的手がかりを一貫して特定する高い正確性を示した。
• ECLADが生成する重要性スコアは、特徴の意図された関連性をよりよく反映しており、概念的に関連する特徴には高いスコアを、関係のない特徴には低いスコアを割り当てており、グランドトゥルースとの照合によって裏付けられた。
• ECLADは優れた局所化性能を達成し、合成データセットおよび実世界のデータセットの両方で、スクラッチ、ピンホール、歪みのあるエッジなどのコンセプトに対応する領域を正確に特定できた。
• 合成データセットと定量的指標を用いた提案された検証フレームワークにより、CE手法の信頼性高く繰り返し可能なスケーラブルなベンチマーク評価が可能になり、人間による主観的評価への依存が削減された。
• ECLADはクラス数に比例して線形にスケーリングされ、複雑でマルチコンセプトを含むデータセットに対しても高い性能を維持しており、強靭性と一般化能力を示した。
• アブレーションスタディの結果、複数の層を用い、適切な補間手法を適用することで、コンセプト品質が向上し、ハロ効果が軽減されることが確認されたが、粗い補間手法は境界に影響を与えるものの、コンセプトの整合性には影響しなかった。