[論文レビュー] Hierarchical Semantic Tree Concept Whitening for Interpretable Image Classification

Haixing Dai, Lu Zhang+10 more|arXiv (Cornell University)|Jul 10, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本稿では、階層的意味的コンセプトツリーと概念ホワイトニングを組み合わせた、解釈性を向上させる新規な手法である Hierarchical Semantic Tree Concept Whitening (HaST-CW) を提案する。この手法は、潜在表現を意味的コンセプトの階層的ツリーと整合させるための新しい意味的制約（SC）損失を導入することで、コンセプト間の階層的関係を保持し、分離性を向上させるとともに、分類精度を維持する。実験では、ResNetバックボーンを用いた Agri-ImageNet データセットで有効性が検証された。

ABSTRACT

With the popularity of deep neural networks (DNNs), model interpretability is becoming a critical concern. Many approaches have been developed to tackle the problem through post-hoc analysis, such as explaining how predictions are made or understanding the meaning of neurons in middle layers. Nevertheless, these methods can only discover the patterns or rules that naturally exist in models. In this work, rather than relying on post-hoc schemes, we proactively instill knowledge to alter the representation of human-understandable concepts in hidden layers. Specifically, we use a hierarchical tree of semantic concepts to store the knowledge, which is leveraged to regularize the representations of image data instances while training deep models. The axes of the latent space are aligned with the semantic concepts, where the hierarchical relations between concepts are also preserved. Experiments on real-world image datasets show that our method improves model interpretability, showing better disentanglement of semantic concepts, without negatively affecting model classification performance.

研究の動機と目的

• 深層ニューラルネットワークにおける解釈性の欠如に応じて、後処理分析に依存するのではなく、人間が理解可能な意味的コンセプトを潜在表現に事前に埋め込むことによる、解釈性の向上を図ること。
• 病気の進行段階や農業分野のオブジェクトカテゴリのような、コンセプト間の階層的関係を、深層学習モデルの潜在空間にモデル化すること。
• 分類性能を維持しつつ、潜在表現内の意味的コンセプトの分離性を向上させること。
• モデルが層ごとにどのようにコンセプトをエンコードし、関係づけているかを、グローバルかつ構造的な理解を提供すること。
• 分野知識と構造的意味的制約を統合することで、モデルの表現をドメイン知識と一致させ、より明確で信頼性の高いAIを実現すること。

提案手法

• 本手法は、各ノードがコンセプト（例：「Weed」、「Snake Weed」）を表し、親子関係が意味的精細さを反映する階層的コンセプトツリーを構築する。
• 意味的に類似したコンセプトが潜在空間内で近接するように、潜在表現を正則化するための新しい意味的制約（SC）損失関数を導入する。
• 階層的コンセプトホワイトニング（HCW）は、潜在次元間の活性化を相関させず、各コンセプトを1つ以上の特定の次元に一致させつつ、階層的構造を保持する。
• SC損失は、関連するコンセプト（例：「Weed」と「Snake Weed」）のデータインスタンスが、潜在空間内で近接する領域にマッピングされることを強制する。
• 分類と解釈性の両方を同時に最適化できるように、交差エントロピー損失とSC損失を組み合わせて、エンドツーエンドで学習を行う。
• 本手法は、ResNet18 および ResNet50 バックボーンを用いて Agri-ImageNet データセットで評価され、概念整合性を評価するために階層的活性化ツリーの可視化が行われた。

Figure 1: The intuition behind HaST-CW. (a) Distribution of discrete concepts in the latent space after applying concept whitening. (b) Distribution of hierarchical concepts after applying HaST-CW.

実験結果

リサーチクエスチョン

• RQ1 潜在空間に階層的意味的コンセプトを事前に埋め込むことで、深層画像分類器の解釈性を向上させることは可能か？
• RQ2 コンセプト間の階層的関係を保持することで、潜在空間における分離性と表現品質にどのような影響を与えるか？
• RQ3 提案されたSC損失関数は、意味的に類似したコンセプトを潜在空間内で適切に近接させるか、かつ分類精度を維持できるか？
• RQ4 階層的活性化ツリーを可視化することで、HaST-CW はネットワークの各層でコンセプトがどのように段階的に学習されているかをどの程度明らかにできるか？
• RQ5 農業や医療分野のような、意味的に意味のあるコンセプト階層が存在する実世界の分野へ、本手法は一般化可能か？

主な発見

• SC損失を用いたHaST-CWモデルは、ResNet50を用いたAgri-ImageNetデータセットでテスト精度69.49% ± 3.20を達成し、ベースラインのCW手法（69.30% ± 3.75）および標準的な交差エントロピーベースライン（69.25% ± 3.93）をわずかに上回った。
• 階層的活性化ツリーの可視化により、画像が意味的階層に沿って正しく活性化されていることが確認された。特に、「Snake Weed」の画像では、「Weed」と「Snake Weed」の親子コンセプトに高い活性化が見られた。
• SC損失は、関連するコンセプト（例：「Weed」と「Apple」）の画像を、標準的な概念ホワイトニングで見られる散乱した分布とは異なり、一貫したクラスタにグループ化した。
• 本手法は、潜在表現における階層的構造を保持しており、サブコンセプト（例：「Snake Weed」や「Apple-Melrose」）が親コンセプトと整合した明確なクラスタを形成した。
• 結果から、HaST-CWは分類性能を劣化させることなく、分離性と解釈性を向上させることを示しており、より明確で構造的な潜在空間の組織化が実現された。
• 本手法により、グローバルかつコンセプトレベルでのモデル動作の理解が可能となり、医療や農業などの重要な分野における人間とAIの協働や信頼性の向上が可能となった。

Figure 2: Hierarchical Tree Structure of Concepts.