[論文レビュー] Concept Bottleneck Models

Pang Wei Koh, Thao Nguyen+5 more|arXiv (Cornell University)|Jul 9, 2020

Machine Learning in Bioinformatics被引用数 150

ひとこと要約

この論文は、入力データから人が指定した概念を最初に予測し、その概念から最終目標を予測する概念ボトルネックモデルを導入する。これによりテスト時の介入と解釈性の向上を実現しつつ、タスク精度を犠牲にしない。

ABSTRACT

We seek to learn models that we can interact with using high-level concepts: if the model did not think there was a bone spur in the x-ray, would it still predict severe arthritis? State-of-the-art models today do not typically support the manipulation of concepts like "the existence of bone spurs", as they are trained end-to-end to go directly from raw input (e.g., pixels) to output (e.g., arthritis severity). We revisit the classic idea of first predicting concepts that are provided at training time, and then using these concepts to predict the label. By construction, we can intervene on these concept bottleneck models by editing their predicted concept values and propagating these changes to the final prediction. On x-ray grading and bird identification, concept bottleneck models achieve competitive accuracy with standard end-to-end models, while enabling interpretation in terms of high-level clinical concepts ("bone spurs") or bird attributes ("wing color"). These models also allow for richer human-model interaction: accuracy improves significantly if we can correct model mistakes on concepts at test time.

研究の動機と目的

• 実務家が用いる高レベル概念（例：骨棘、関節空間の狭小化）とモデル推論を整合させることで、対話型AIシステムを動機づける。
• ボトルネック層と補助損失を用いて、任意のエンドツーエンドニューラルネットワークを概念ボトルネックモデルに変える実用的手法を提案する。
• 概念ボトルネックモデルが概念レベルの介入を可能にしつつ、競争力のあるタスク性能を達成することを示す。
• 概念ボトルネックが真の概念とどの程度一致するかを評価し、共変量シフトに対する頑健性を探る。

提案手法

• 既存のネットワークに、概念数 k と同じサイズのボトルネック層を挿入するために、レイヤーのサイズを変更する。
• 補助損失 L_C を用いて、ボトルネックニューロンを提供された概念 c（成分ごとに）と整合させるよう訓練する。
• 独立・逐次・結合のボトルネック訓練スキームを、標準のエンドツーエンドモデルと比較する。
• 概念注釈 c とターゲット y を用いて、2つのタスク（膝X線グレーディング（OAI）と鳥類種識別（CUB））で評価する。
• 予測概念 \u007e hat{c} を操作することによる概念精度、タスク精度、データ効率、テスト時の介入の可能性を評価する。

実験結果

リサーチクエスチョン

• RQ1 概念ボトルネックモデルは、解釈可能な概念を予測しつつ、競争力のあるタスク性能を達成できるか？
• RQ2 予測された概念に対するテスト時介入は最終的なタスク精度を改善するか、どの条件下で？
• RQ3 独立・逐次・結合のボトルネック訓練 regime は、タスク精度、概念精度、介入可能性をどのようにトレードオフするか？
• RQ4 概念ボトルネックモデルは、標準のエンドツーエンドモデルと比較して共変量シフトに対してより頑健か？

主な発見

モデル	y RMSE (OAI)	y Error (CUB)
Independent	0.435 ± 0.024	0.240 ± 0.012
Sequential	0.418 ± 0.004	0.243 ± 0.006
Joint	0.418 ± 0.004	0.199 ± 0.006
Standard	0.441 ± 0.006	0.175 ± 0.008
no bottleneck	0.443 ± 0.008	0.173 ± 0.003
Multitask	0.425 ± 0.010	0.162 ± 0.002

• 概念ボトルネックモデルは、OAIとCUBで標準のエンドツーエンドモデルと競争力のあるタスク精度を達成しつつ、高い概念精度を達成する。
• 結合ボトルネックは、タスク性能で標準モデルと同等または上回ることができ、良好な概念精度を生み出す（OAI で平均概念RMSE約0.53、CUBで約0.03–0.034）。
• 直線プローブによる事後概念分析は、概念に合わせて訓練されたモデルと比較して劣ることが多く、明示的な概念監視の価値を浮き彫りにする。
• 予測概念を真値と置換するテスト時介入は、特に OAI でタスク精度を大幅に改善できる可能性がある；効果は訓練 regime とモデルの非線形性に依存する。
• CUB の介入は概念グループをターゲットにすると顕著な向上を示し、独立ボトルネックは一般に逐次/結合変種より介入に適している。
• ボトルネックモデルは背景シフト（TravelingBirds）に対して頑健で、共変量シフト下で標準モデルより低いタスクエラーを達成する。