[論文レビュー] Language in a Bottle: Language Model Guided Concept Bottlenecks for Interpretable Image Classification

Yue Yang, Artemis Panagopoulou+4 more|arXiv (Cornell University)|Nov 21, 2022

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

本稿では、GPT-3を用いてテキスト的コンセプトを生成し、CLIPを用いてそれらを画像と整合させることで、自動的に高性能で解釈可能な概念ボトルネックモデル（CBM）を生成する手法であるLanguage-guided Bottlenecks（LaBo）を提案する。LaBoは、11個の多様なデータセットにおいて1ショット学習で線形プローブよりも11.7%高い精度を達成し、手動でのコンセプトアノテーションが不要な状態でブラックボックスモデルと同等またはそれを上回る性能を示している。

ABSTRACT

Concept Bottleneck Models (CBM) are inherently interpretable models that factor model decisions into human-readable concepts. They allow people to easily understand why a model is failing, a critical feature for high-stakes applications. CBMs require manually specified concepts and often under-perform their black box counterparts, preventing their broad adoption. We address these shortcomings and are first to show how to construct high-performance CBMs without manual specification of similar accuracy to black box models. Our approach, Language Guided Bottlenecks (LaBo), leverages a language model, GPT-3, to define a large space of possible bottlenecks. Given a problem domain, LaBo uses GPT-3 to produce factual sentences about categories to form candidate concepts. LaBo efficiently searches possible bottlenecks through a novel submodular utility that promotes the selection of discriminative and diverse information. Ultimately, GPT-3's sentential concepts can be aligned to images using CLIP, to form a bottleneck layer. Experiments demonstrate that LaBo is a highly effective prior for concepts important to visual recognition. In the evaluation with 11 diverse datasets, LaBo bottlenecks excel at few-shot classification: they are 11.7% more accurate than black box linear probes at 1 shot and comparable with more data. Overall, LaBo demonstrates that inherently interpretable models can be widely applied at similar, or better, performance than black box approaches.

研究の動機と目的

• 概念ボトルネックモデル（CBM）の限界、すなわち高コストな手動コンセプトアノテーションと、しばしばブラックボックスモデルに劣る性能を是正すること。
• 人間が設計したコンセプトを一切用いずに、高精度で本質的に解釈可能な画像分類器を実現する手法を開発すること。
• 言語モデルが視覚的に関連性があり、判別力があり、多様なコンセプトを特定する有効な事前知識として機能できることを示すこと。
• ブラックボックスモデルと同等またはそれ以上の性能を達成しながらも、特に低データ環境下においてもCBMの解釈可能性を維持すること。

提案手法

• カテゴリ固有の記述をGPT-3にプロンプトして、候補コンセプトとしての事実的で記述的な文の大量集合を生成する。
• 判別力、カバレッジ、多様性のバランスを取る新しいサブモジュラな効用関数を定式化し、候補プールから最適なコンセプトサブセットを効率的に選択する。
• CLIPを用いて画像入力とテキスト的コンセプトの両方を埋め込み、クロスアテンションベースのスコアリングによりコンセプトの画像内存在度を評価する。
• 選択されたコンセプトスコアからボトルネック層を構築し、その後に線形分類器に入力特徴として用いる。
• 標準的な訓練手順を用いて線形分類器をエンドツーエンド最適化し、モデルの解釈可能性を保持する。
• 各データセットに対してGPT-3のプロンプトを微調整し、語義の正確性を向上させ、曖昧さ（例：「パラダイスの鳥」の花と鳥の混同を避ける）を低減する。

実験結果

リサーチクエスチョン

• RQ1 GPT-3のような言語モデルを用いて、解釈可能な画像分類のための高品質で視覚的に根拠のあるコンセプトを自動生成できるか？
• RQ2 大規模に生成された言語モデルのコンセプトプールから、多様で判別力のあるサブセットを効率的に選択する方法は何か？
• RQ3 自動生成されたコンセプトボトルネックは、特に低ショット学習環境下でブラックボックスモデルと同等またはそれ以上の性能を達成できるか？
• RQ4 手動で設計されたCBMと比較して、自動生成されたコンセプトは、精度向上と併せて解釈可能性をどの程度維持できるか？
• RQ5 ボトルネックサイズ、コンセプト長、クラス名の含否といった設計選択が、性能と解釈可能性に与える影響は何か？

主な発見

• LaBoは、11個の多様なデータセットにおいて1ショット学習で線形プローブよりも11.7%高い精度を達成し、低データ環境下でブラックボックスベースラインを顕著に上回った。
• 平均して、LaBoボトルネックは複数のデータ設定において線形プローブよりも1.5%高い精度を示し、一貫した性能向上を確認した。
• 本手法は手動コンセプトアノテーションの必要性を低減し、ドメインエキスパートの入力を必要としない解釈可能なモデルの構築を可能にした。
• LaBoは高い解釈可能性を維持しており、自然言語による記述であり、人間が読めるだけでなく視覚的属性に基づいた意味的根拠を持つ。
• アブレーションスタディの結果、クラス名をコンセプトから除外し、短く、重複のない、視覚的に根拠のある文を優先することで、性能と解釈可能性の両方が向上した。
• 本手法は、細粒度画像認識、皮膚腫瘍分類、および衛星画像など多様な分野に一般化可能であり、最小限のデータセット特化的プロンプトチューニングで実現した。