[論文レビュー] Post-hoc Concept Bottleneck Models

Mert Yüksekgönül, Maggie Haitian Wang+1 more|arXiv (Cornell University)|May 31, 2022

Data Stream Mining Techniques被引用数 36

ひとこと要約

この論文は、任意の事前学習済みモデルを解釈可能な概念ボトルネックへ変換する Post-hoc Concept Bottleneck Models (PCBMs) を提案し、注釈データ、マルチモーダル記述、または残差モデリングから学習した概念サブスペースを使用して元の精度と一致させます。さらに、概念レベルのフィードバックによるグローバルなモデル編集をユーザー研究で実証します。

ABSTRACT

Concept Bottleneck Models (CBMs) map the inputs onto a set of interpretable concepts (``the bottleneck'') and use the concepts to make predictions. A concept bottleneck enhances interpretability since it can be investigated to understand what concepts the model "sees" in an input and which of these concepts are deemed important. However, CBMs are restrictive in practice as they require dense concept annotations in the training data to learn the bottleneck. Moreover, CBMs often do not match the accuracy of an unrestricted neural network, reducing the incentive to deploy them in practice. In this work, we address these limitations of CBMs by introducing Post-hoc Concept Bottleneck models (PCBMs). We show that we can turn any neural network into a PCBM without sacrificing model performance while still retaining the interpretability benefits. When concept annotations are not available on the training data, we show that PCBM can transfer concepts from other datasets or from natural language descriptions of concepts via multimodal models. A key benefit of PCBM is that it enables users to quickly debug and update the model to reduce spurious correlations and improve generalization to new distributions. PCBM allows for global model edits, which can be more efficient than previous works on local interventions that fix a specific prediction. Through a model-editing user study, we show that editing PCBMs via concept-level feedback can provide significant performance gains without using data from the target domain or model retraining.

研究の動機と目的

• 従来の Concept Bottleneck Models (CBMs) の制約、すなわち密な概念注釈の必要性と精度の低下の可能性を解決する。
• 一から再学習せずに事前学習モデルを PCBMs に変換するデータ効率の高い方法を提案する。
• 跨データセットの概念や自然言語の説明を活用して概念ボトルネックを構築する。
• 概念バンクが不十分な場合に元のモデルの性能を回復する残差モデリング変種（PCBM-h）を導入する。
• 概念レベルのフィードバックによるグローバルなモデル編集を実演し、ユーザ研究を通じて使いやすさを評価する。

提案手法

• Concept Activation Vectors (CAVs) を用いて概念サブスペース C を定義する。これはデータセット間の概念ライブラリやマルチモーダル記述から学習される。
• バックボーンの埋め込みを概念サブスペースに射影して概念投影表現 f_C(x) を得る。
• f_C(x) からラベルを予測する、疎な線形モデルなどの解釈可能な予測子 g を elastic-net 正則化を用いて訓練する。
• 概念が不十分な場合、元の埋め込み上に残差予測子 r を導入して元の精度を回復する（PCBM-h）。
• 自然言語記述や ConceptNet の関係から概念ベクトルを構築するために、マルチモーダルモデル（例: CLIP）やテキストエンコーダを任意で用いる。
• ターゲット領域データを必要とせずに概念重みを調整することでグローバルなモデル編集のフレームワークを提供する（およびオプションのプルーニング/正規化手順を適用）。

実験結果

リサーチクエスチョン

• RQ1 任意の事前学習済みモデルを、精度を犠牲にすることなく PCBM に変換できるか。
• RQ2 他データセットや自然言語記述から後付けで概念を学習し、使用可能な概念ボトルネックを形成できるか。
• RQ3 概念バンクが表現力不足の場合、残差モデリング（PCBM-h）は元のモデルの性能を回復できるか。
• RQ4 ターゲット領域データを再学習やデータなしで、概念レベルのフィードバックによる効果的なグローバルなモデル編集をユーザーが実現できるか。
• RQ5 概念ベースの編集が分布シフト下でのモデルのロバスト性に与える影響はどのようになるか。

主な発見

• PCBMs はいくつかのデータセットで元のモデルと同等の性能を達成するが、概念バンクが不十分な CIFAR100 を除きます。
• 概念バンクが表現力不足の場合、残差予測子を追加することで元のモデルの精度を回復できる（PCBM-h）。
• CLIP ベースの概念やマルチモーダル記述を用いると、ラベル付き概念データへの依存を減らしつつ一部のタスクで元のモデルの精度に近づけられる。
• ターゲット分布への微調整の利得の多くを、単純な概念プルーニング戦略によるグローバル編集で回復できる場合があり、ケースによっては半分程度。
• 人間主導のプルーニングワークフローはランダムプルーニングよりパフォーマンスを向上させ、ターゲット領域データへアクセスなしに顕著な改善をもたらす。