[논문 리뷰] Learning to Intervene on Concept Bottlenecks

David Steinmann, Wolfgang Stammer외 2명|arXiv (Cornell University)|2023. 08. 25.

Data Stream Mining Techniques인용 수 4

한 줄 요약

이 논문은 개념 버블넥 메모리 모델(CB2M)을 소개한다. CB2M는 개념 버블넥 모델(CBM)의 새로운 확장으로, 새로운 데이터에 대해 인간의 간섭을 일반화하고 학습할 수 있도록 이중 메모리를 사용한다. 과거의 실수와 수정 간섭을 저장함으로써, 추가적인 인간 피드백 없이도 자동으로 수정을 재적용하여, 분포 이탈과 오염된 데이터 상황에서 모델의 강건성을 크게 향상시키고, 사용자 상호작용 횟수를 줄인다.

ABSTRACT

While deep learning models often lack interpretability, concept bottleneck models (CBMs) provide inherent explanations via their concept representations. Moreover, they allow users to perform interventional interactions on these concepts by updating the concept values and thus correcting the predictive output of the model. Up to this point, these interventions were typically applied to the model just once and then discarded. To rectify this, we present concept bottleneck memory models (CB2Ms), which keep a memory of past interventions. Specifically, CB2Ms leverage a two-fold memory to generalize interventions to appropriate novel situations, enabling the model to identify errors and reapply previous interventions. This way, a CB2M learns to automatically improve model performance from a few initially obtained interventions. If no prior human interventions are available, a CB2M can detect potential mistakes of the CBM bottleneck and request targeted interventions. Our experimental evaluations on challenging scenarios like handling distribution shifts and confounded data demonstrate that CB2Ms are able to successfully generalize interventions to unseen data and can indeed identify wrongly inferred concepts. Hence, CB2Ms are a valuable tool for users to provide interactive feedback on CBMs, by guiding a user's interaction and requiring fewer interventions.

연구 동기 및 목표

• 일회성 인간 간섭의 비효율성 문제를 해결하기 위해, 개념 버블넥 모델(CBM)에서 반복적인 사용자 피드백가 요구되어 사용자 피로를 유발한다.
• CBM이 과거 간섭을 학습하고, 추가적인 인간 입력 없이도 새로운, 알려지지 않은 예시로 일반화할 수 있도록 한다.
• 초기 인간 피드백이 제공되기 전에 모델의 실수를 자동으로 탐지하여, 사용자에게 가장 정보가 많은 샘플에 대해 타겟팅된 효율적인 질의를 가능하게 한다.
• 모델에 종속되지 않는 확장 기능을 제공하여, 재사용 가능한 간섭 지식을 통해 해석 가능성과 상호작용 학습을 향상시킨다.

제안 방법

• CB2M는 표준 CBM에 이중 메모리 기능을 추가한다: 하나는 감지된 모델 실수(개념 예측 오류 기반)를 저장하고, 다른 하나는 이전에 적용된 인간 간섭을 저장한다.
• 모델은 k=1을 사용한 k-최근접 이웃(k-NN) 방법을 활용하여 가장 유사한 과거 실수를 검색하고, 그에 해당하는 간섭을 유사한 새로운 예시에 적용한다.
• 실수 탐지 메커니즘은 개념 활성화 점수에 기반한 임계값 기반 방법을 사용하여, 번들넥 네트워크의 개념 예측이 잘못되었을 가능성이 있는 데이터 포인트를 식별한다.
• 새로운 간섭이 제공될 때마다 메모리가 동적으로 업데이트되어, 재학습 없이도 모델이 시간이 지남에 따라 적응하고 향상된다.
• 이 프레임워크는 모델에 종속되지 않게 설계되어 있어, 어떤 CBM 아키텍처와도 통합 가능하며, 간섭 일반화와 능동 학습을 모두 지원한다.
• 시스템은 체계적인 오류(예: 오염된 데이터에서의 오류)를 탐지하고 인간 피드백을 가장 정보가 많은 샘플로 이끌어내어, 상호작용 횟수를 줄일 수 있다.

Figure 1: Reusing a CBM intervention can correct model mistakes for multiple examples. Top: CBMs generate a human interpretable concept representation to solve the final task. Human users can correct these concept predictions via targeted interventions (blue) influencing the final prediction. Bottom

실험 결과

연구 질문

• RQ1 CBM이 추가적인 인간 피드백 없이도 새로운 데이터에 대해 인간 간섭을 일반화할 수 있는가?
• RQ2 초기 인간 피드백이 없을 때 CB2M가 모델 실수를 얼마나 효과적으로 탐지할 수 있는가?
• RQ3 CB2M는 분포 이탈과 오염된 학습 데이터 상황에서 모델 성능을 어느 정도 향상시키는가?
• RQ4 CB2M의 메모리 메커니즘은 예측 정확도를 유지하거나 향상시키면서도 인간 간섭 횟수를 줄일 수 있는가?

주요 결과

• CB2M는 이전에 알려지지 않은 예시로 간섭을 성공적으로 일반화하여, 분포 이탈과 오염된 데이터 상황에서 모델 성능을 크게 향상시켰다.
• 모델은 인간 피드백이 제공되기 전에 체계적인 오류(예: 오염된 데이터에서의 잘못된 개념 예측)를 탐지하여 타겟팅된 질의를 가능하게 하였다.
• CB2M는 가장 문제적인 인스턴스에 집중함으로써 인간 간섭 횟수를 줄여 상호작용 효율성을 향상시켰다.
• 이중 메모리 메커니즘은 재학습 없이도 반복적인 실수를 자동으로 수정할 수 있게 하여, 최소한의 피드백으로도 지속적인 성능 향상을 보였다.
• 실험 결과, 특히 간섭이 희소한 경우, CB2M는 개념 이동과 허위 상관관계가 존재하는 상황에서 표준 CBM보다 성능이 뛰어나다는 것이 입증되었다.

Figure 2: Overview of CB2M to detect mistakes or generalize interventions. A vanilla CBM (grey) is extended with a two-fold memory (orange and green). The memory compares encodings of new samples to known mistakes to (i) detect model errors or (ii) automatically correct the model via reuse of interv