[論文レビュー] Learning to Intervene on Concept Bottlenecks

David Steinmann, Wolfgang Stammer+2 more|arXiv (Cornell University)|Aug 25, 2023

Data Stream Mining Techniques被引用数 4

ひとこと要約

本稿では、未確認データにおいて人間の介入を学習・一般化できる二重記憶を備えた、概念ボトルネックモデル（CBM）の新規拡張であるコンセプトボトルネックメモリモデル（CB2M）を提案する。過去の誤りと是正介入を記憶することで、追加の人的フィードバックなしに自動的に是正を再適用し、分布シフトや混同されたデータにおいてモデルの頑健性を著しく向上させ、ユーザーの関与回数を減らす。

ABSTRACT

While deep learning models often lack interpretability, concept bottleneck models (CBMs) provide inherent explanations via their concept representations. Moreover, they allow users to perform interventional interactions on these concepts by updating the concept values and thus correcting the predictive output of the model. Up to this point, these interventions were typically applied to the model just once and then discarded. To rectify this, we present concept bottleneck memory models (CB2Ms), which keep a memory of past interventions. Specifically, CB2Ms leverage a two-fold memory to generalize interventions to appropriate novel situations, enabling the model to identify errors and reapply previous interventions. This way, a CB2M learns to automatically improve model performance from a few initially obtained interventions. If no prior human interventions are available, a CB2M can detect potential mistakes of the CBM bottleneck and request targeted interventions. Our experimental evaluations on challenging scenarios like handling distribution shifts and confounded data demonstrate that CB2Ms are able to successfully generalize interventions to unseen data and can indeed identify wrongly inferred concepts. Hence, CB2Ms are a valuable tool for users to provide interactive feedback on CBMs, by guiding a user's interaction and requiring fewer interventions.

研究の動機と目的

• 一回限りの人的介入に起因する概念ボトルネックモデル（CBM）の非効率性を是正し、繰り返しのユーザーのフィードバックによる疲労を軽減すること。
• CBMが過去の介入を学習し、追加の人的入力なしに、未確認の例へ一般化できるようにすること。
• 人的フィードバックが利用可能になる前でも、モデルの誤りを自動的に検出できることで、的確かつ効率的なユーザーへのクエリを可能にすること。
• モデルに依存しない拡張として、再利用可能な介入知識を通じて解釈可能性とインタラクティブな学習を向上させること。

提案手法

• CB2Mは、標準的なCBMに二重記憶を追加する。1つは検出されたモデルの誤り（概念予測誤差に基づく）を記憶する記憶領域、もう1つは以前に適用された人的介入を記憶する記憶領域である。
• モデルはk=1のk近傍法（k-NN）を用い、類似した新しい例に過去の誤りとその対応する介入を適用する。
• 誤り検出メカニズムは、概念活性化スコアのしきい値に基づく方法を用い、ボトルネックネットワークの概念予測が誤りである可能性が高いデータポイントを特定する。
• 新しい介入が提供されるたびに記憶が動的に更新され、再トレーニングを再び行わずとも、モデルが時間経過とともに適応・改善できる。
• フレームワークはモデルに依存しない設計となっており、任意のCBMアーキテクチャに統合可能で、介入の一般化とアクティブラーニングの両方をサポートする。
• 系統的な誤り（例：混同されたデータにおける誤った概念予測）を検出し、最も情報の多いサンプルに人的フィードバックを誘導することで、必要な関与回数を削減できる。

Figure 1: Reusing a CBM intervention can correct model mistakes for multiple examples. Top: CBMs generate a human interpretable concept representation to solve the final task. Human users can correct these concept predictions via targeted interventions (blue) influencing the final prediction. Bottom

実験結果

リサーチクエスチョン

• RQ1 CBMは、追加の人的フィードバックなしに、未確認のデータに人的介入を一般化できるか？
• RQ2 初期的人的フィードバックが存在しない状況下で、CB2Mはモデルの誤りをどの程度効果的に検出できるか？
• RQ3 CB2Mは分布シフトや混同された学習データの下で、どの程度モデル性能を向上させられるか？
• RQ4 CB2Mの記憶メカニズムは、予測精度を維持または向上させながら、人的介入の回数をどの程度削減できるか？

主な発見

• CB2Mは、未確認の例に介入を一般化し、分布シフトや混同されたデータのシナリオにおいて、モデル性能を著しく向上させた。
• 人的フィードバックが提供される前でも、系統的な誤り（例：混同されたデータにおける誤った概念予測）を検出し、的確なクエリを可能にした。
• CB2Mは、最も問題の大きいインスタンスにフィードバックを集中させることで、人的介入の回数を削減し、相互作用の効率性を向上させた。
• 二重記憶メカニズムにより、再トレーニングを伴わずとも繰り返しの誤りを自動的に是正でき、最小限のフィードバックで持続的な性能向上を示した。
• 実験の結果、介入が希な状況下でも、CB2Mは標準的なCBMを上回る性能を示した。特に、概念のずれや誤った相関関係が存在する状況で顕著であった。

Figure 2: Overview of CB2M to detect mistakes or generalize interventions. A vanilla CBM (grey) is extended with a two-fold memory (orange and green). The memory compares encodings of new samples to known mistakes to (i) detect model errors or (ii) automatically correct the model via reuse of interv