[論文レビュー] When a Relation Tells More Than a Concept: Exploring and Evaluating Classifier Decisions with CoReX

Bettina Finzel, Patrick Hilme+2 more|arXiv (Cornell University)|May 2, 2024

Statistical and Computational Modeling被引用数 4

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）の意思決定を概念と関係に基づく推論によって説明する、新たな可視化AI手法CoReXを提案する。この手法は、ピクセルレベルの関連度を越えて解釈性を向上させる。インダクティブ論理プログラミング（ILP）から導かれる論理ルールと概念の関連度を統合することで、空間的な概念間の関係（例：'ハンドルの右側にノズルがある'）が分類に与える影響を忠実かつ対照的（contrastive）に明らかにし、医療分野など複雑な分野における誤分類の検出やモデル評価を可能にする。

ABSTRACT

Explanations for Convolutional Neural Networks (CNNs) based on relevance of input pixels might be too unspecific to evaluate which and how input features impact model decisions. Especially in complex real-world domains like biology, the presence of specific concepts and of relations between concepts might be discriminating between classes. Pixel relevance is not expressive enough to convey this type of information. In consequence, model evaluation is limited and relevant aspects present in the data and influencing the model decisions might be overlooked. This work presents a novel method to explain and evaluate CNN models, which uses a concept- and relation-based explainer (CoReX). It explains the predictive behavior of a model on a set of images by masking (ir-)relevant concepts from the decision-making process and by constraining relations in a learned interpretable surrogate model. We test our approach with several image data sets and CNN architectures. Results show that CoReX explanations are faithful to the CNN model in terms of predictive outcomes. We further demonstrate through a human evaluation that CoReX is a suitable tool for generating combined explanations that help assessing the classification quality of CNNs. We further show that CoReX supports the identification and re-classification of incorrect or ambiguous classifications.

研究の動機と目的

• 高レベルの関係的特徴が重要な複雑な画像分類タスクにおいて、ピクセルレベルの説明では捉えきれない問題を解決する。
• 特に曖昧または境界に近いケースにおいて、予測に影響を与える概念と関係を特定することで、モデルの評価を向上させる。
• ユーザーが特定の概念や関係を抑制または強調するように指定できるように、対話的なモデル補正を支援する。
• 概念活性化の関連度と論理ベースの推論を統合し、より解釈可能で忠実な説明を提供する手法を開発する。
• 関係性を考慮した対照的説明（類似だが異なる分類結果の画像を比較）を、関係性の知識を用いて実現する。

提案手法

• CoReXは、概念関連度伝播を用いて中間CNN特徴における概念を特定・局所化し、分類への寄与度に応じて正、負、中立のスコアを割り当てる。
• 高い関連度を持つピxls群をクラスタリングし、自然言語の用語（例：'ハンドル'、'ノズル'）でラベル付けすることで、意味のある概念を抽出する。
• インダクティブ論理プログラミング（ILP）を用いて、空間的・構造的関係（例：'ノズルがハンドルの右側にある'）を学習し、解釈可能な論理ルールを生成する。
• 学習されたILP理論に基づくサーヴィェイリングモデルを構築し、不要な概念をマスキングし、関係性の制約を強制することで予測を制約する。
• 説明は、あるサンプルとその対照的クラスに属する反事後例（counterfactual example）を対比することで生成され、差を示す関係が強調される。
• 本手法は対話的フィードバックをサポートする：ユーザーがルールを変更することで誤分類を是正でき、人間が関与するフィードバックによるモデル正則化が可能になる。

Figure 1 : Explaining why a sample image belongs to the target class “teapot” by contrasting it with a sample from the contrastive class “vase” based on identified concepts (handle, spout) and their relations (“spout right of handle”)

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルの説明が見逃す可能性がある、概念および関係に基づく説明が、複雑な画像分類タスクにおいて判別的特徴を明らかにできるか？
• RQ2 CoReXの説明は、訓練済みCNNの実際の意思決定プロセスをどれほど忠実に反映しているか？
• RQ3 CoReXは、誤ったまたは曖昧な概念関係を特定・説明でき、誤分類を解明できるか？
• RQ4 ユーザーは、対話的なルール変更を通じて、CoReXをどれほど活用してモデルの挙動を是正できるか？
• RQ5 関係性の知識を組み込むことで、医療分野や細分化された視覚分類といった実世界の分野において、CNN意思決定の解釈性と評価可能性が向上するか？

主な発見

• CoReXの説明は、複数のデータセットとアーキテクチャを対象とした予測の一貫性から、元のCNNモデルに対して極めて忠実であることが検証された。
• ピクセルレベルの手法が表現できない『ノズルがハンドルの右側にある』といった判別的関係を、CoReXは的確に特定した。これは、『急須』と『ピッチャー』を区別する要因として有効に機能した。
• Adienceデータセットでは、『目が笑顔の口の上にある』という関係を特徴とする代表的クラスタをCoReXが発見し、微細な顔貌構造のパターンを捉える能力を示した。
• ピカソデータセットでは、誤分類された男性顔の画像が、背景のアーティファクトによってルールのカバー範囲外にあったことがCoReXによって特定され、モデルが不自然な特徴に敏感であることが明らかになった。
• ルールの変更により、誤分類の是正を対話的に可能にした。人間が関与するフィードバックによるモデルの微調整の可能性を示した。
• Adience評価で空のクラスタが発見され、どのルールにもカバーされない誤分類された男性サンプルが特定された。これは、問題のあるケースを人間によるレビュー用に特定する能力を示している。

Figure 2 : Overview of our CoReX approach for explaining and evaluating CNN image classifications with concept- and relation-based explanations and constraints (concept masking and relational constraints)