[論文レビュー] Concept Embedding Analysis: A Review

Gesina Schwalbe|arXiv (Cornell University)|Mar 25, 2022

Machine Learning and ELM被引用数 12

ひとこと要約

本稿は、深層ニューラルネットワーク（DNN）の内部表現と人間が解釈可能な意味的概念（例：'目'、'ひげあり'）を、単純なモデル（例：概念活性化ベクトル（CAV））を介して結びつける、説明可能なAI（XAI）の分野である概念埋め込み分析（CA）について包括的なレビューを提供する。形式的定義、CA手法を分類するための分類法、30以上の手法のレビューを行い、モデルの検証、蒸留、監査への応用を強調するとともに、データ不足や概念選択といった主な課題を特定する。

ABSTRACT

Deep neural networks (DNNs) have found their way into many applications with potential impact on the safety, security, and fairness of human-machine-systems. Such require basic understanding and sufficient trust by the users. This motivated the research field of explainable artificial intelligence (XAI), i.e. finding methods for opening the "black-boxes" DNNs represent. For the computer vision domain in specific, practical assessment of DNNs requires a globally valid association of human interpretable concepts with internals of the model. The research field of concept (embedding) analysis (CA) tackles this problem: CA aims to find global, assessable associations of humanly interpretable semantic concepts (e.g., eye, bearded) with internal representations of a DNN. This work establishes a general definition of CA and a taxonomy for CA methods, uniting several ideas from literature. That allows to easily position and compare CA approaches. Guided by the defined notions, the current state-of-the-art research regarding CA methods and interesting applications are reviewed. More than thirty relevant methods are discussed, compared, and categorized. Finally, for practitioners, a survey of fifteen datasets is provided that have been used for supervised concept analysis. Open challenges and research directions are pointed out at the end.

研究の動機と目的

• 分野全体で一貫した用語を使用できるように、概念埋め込み分析（CA）の形式的で一般的な定義を確立すること。
• タイプ、入力、出力、および教師ありの程度に基づいてCA手法を体系的に比較可能な包括的な分類法を開発すること。
• 30以上の最先端のCA手法をレビュー・分類し、その長所と短所を強調すること。
• CA研究を支援するための15の概念アノテーション付きデータセットを調査すること。
• 特に自動運転のような安全が重要な応用分野における、CAの未解決課題と今後の研究方向性を特定すること。

提案手法

• 人間が解釈可能な意味的概念とDNNの中間表現とを、単純な補助モデルを用いて関連付けるCAの形式的定義を提唱する。
• 概念モデルのタイプ（例：ベクトル、部分空間）、入力モodal（例：画像、テキスト）、出力表現、および教師ありの程度（例：教師あり、弱教師あり）といった次元に沿ってCA手法を分類する分類法を導入する。
• NetDissect、CAV、ACE、および概念ボトルネックモデルなど、30以上のCA手法をレビュー・比較し、その設計、仮定、性能に注目する。
• 概念出力を用いたモデル蒸留、干渉、検証の実用的応用を分析し、安全性や公平性の評価における実用的価値を示す。
• 15のデータセットのリストを編集し、使用用途とデータ特性に応じて分類することで、手法の評価を支援する。
• 特に、堅牢な非教師ありおよび線形CA手法の不足、最小限で完全な概念セットの必要性といった、主要なメソッド論的ギャップを特定する。

実験結果

リサーチクエスチョン

• RQ1 文献に散在する多様なアプローチを統一するために、概念埋め込み分析を形式的に定義する方法は何か？
• RQ2 CA手法を分類するための主要な次元は何か？ それぞれの入力、出力、および教師ありの程度において、どのように異なるか？
• RQ3 DNN内部のグローバルかつ解釈可能な分析に最も効果的なCA手法は何か？ その限界は何か？
• RQ4 CAは、安全が重要なシステムにおけるモデル検証、蒸留、干渉にどのように実用的に応用できるか？
• RQ5 特にデータの入手可能性、概念選択、複雑なモデルへのスケーラビリティの観点から、CAにおける主な未解決課題は何か？

主な発見

• 本稿は、CAの標準化された定義と分類法を確立し、既存手法の体系的比較と位置付けを可能にした。
• 30以上のCA手法をレビュー・分類した結果、教師ありの程度やモデルアーキテクチャに基づいて明確なファミリーが特定され、特に概念ボトルネックモデルが誘導的バイアス統合の観点で有望であることが示された。
• レビューでは、大多数のCA手法が小規模で産業的でないモデルで評価されていることが判明し、自動運転の周辺認識のような実世界のシステムへの適用可能性が制限されている。
• オブジェクト検出のような複雑なタスクに対応しているのはわずか2つの手法（CSPPおよびSchwalbe, 2021）にとどまり、それらですら、より大きなモデルにスケーリングする際に性能劣化を示している。
• 概念アノテーション付きの15のデータセットの包括的リストを編集し、CA手法のトレーニングおよび評価に不可欠なリソースを提供した。
• 主な未解決課題は依然として残っている：大規模で豊富なアノテーションが付与されたデータセットの不足、非教師ありおよび線形CA手法の改善、および効果的なDNN解釈に必要な最小限で完全な概念セットの選定。