[논문 리뷰] Learning to Receive Help: Intervention-Aware Concept Embedding Models

Mateo Espinosa Zarlenga, Katherine M. Collins외 4명|arXiv (Cornell University)|2023. 09. 29.

Explainable Artificial Intelligence (XAI)Computer Science인용 수 3

한 줄 요약

이 논문은 테스트 시점의 개념 간섭에 더 잘 대응할 수 있도록 학습하는 엔드 투 엔드 간섭 정책을 학습하는 새로운 개념 해석 가능 신경망 아키텍처인 간섭 인식 개념 임베딩 모델(Intervention-aware Concept Embedding Models, IntCEMs)을 소개한다. 규칙화된 목적 함수를 통해 간섭 경로를 시뮬레이션하면서 훈련함으로써, 전문가 피드백이 적용될 경우 최신 기술 대비 뚜렷한 정확도 향상을 달성하면서도 간섭이 없을 경우에도 경쟁력 있는 성능을 유지한다.

ABSTRACT

Concept Bottleneck Models (CBMs) tackle the opacity of neural architectures by constructing and explaining their predictions using a set of high-level concepts. A special property of these models is that they permit concept interventions, wherein users can correct mispredicted concepts and thus improve the model's performance. Recent work, however, has shown that intervention efficacy can be highly dependent on the order in which concepts are intervened on and on the model's architecture and training hyperparameters. We argue that this is rooted in a CBM's lack of train-time incentives for the model to be appropriately receptive to concept interventions. To address this, we propose Intervention-aware Concept Embedding models (IntCEMs), a novel CBM-based architecture and training paradigm that improves a model's receptiveness to test-time interventions. Our model learns a concept intervention policy in an end-to-end fashion from where it can sample meaningful intervention trajectories at train-time. This conditions IntCEMs to effectively select and receive concept interventions when deployed at test-time. Our experiments show that IntCEMs significantly outperform state-of-the-art concept-interpretable models when provided with test-time concept interventions, demonstrating the effectiveness of our approach.

연구 동기 및 목표

• 테스트 시점의 개념 간섭에 대해 수용적으로 작동하도록 유도하는 훈련 시점의 동기가 부족한 개념 블록체인 모델(CBMs)의 문제를 해결하기 위해.
• 전문가 피드백 하에서 간섭에 대한 수용성을 명시적으로 학습함으로써 모델 성능을 향상시키기 위해.
• 최적의 간섭 정책을 훈련 중에 학습하는, 미분 가능하고 엔드 투 엔드인 프레임워크를 개발하기 위해.
• 간섭이 없을 경우에도 강력한 성능을 유지하면서 간섭이 적용될 경우 정확도를 크게 향상시키기 위해.

제안 방법

• IntCEMs는 개념을 고차원 임베딩으로 표현하는 개념 임베딩 모델(CEMs)을 기반으로 하며, 이는 미분 가능한 조작을 가능하게 한다.
• 모델은 정책 그래เดียน트 방법을 사용하여 엔드 투 엔드로 간섭 정책을 학습하며, 기대 성능을 최대화하기 위해 어떤 개념에 간섭할지를 선택한다.
• 손실 함수에 새로운 정규화 항이 도입되어, 학습된 정책에서 유도된 시뮬레이션 간섭 시퀀스 이후 성능이 떨어지지 않도록 모델을 처벌한다.
• 간섭는 미분 가능한 연산으로 모델링되어 훈련 중 간섭 경로를 따라 역전파가 가능하다.
• 이중 목적 훈련 제도를 통해 예측 정확도와 전문가 피드백에 대한 수용성 둘 다 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 명시적인 훈련 유도를 통해 모델을 테스트 시점의 개념 간섭에 더 잘 수용하도록 훈련시킬 수 있는가?
• RQ2 훈련 중에 간섭 정책을 학습함으로써 전문가 피드백이 적용될 경우 성능 향상에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 간섭 상황에서 기존의 개념 해석 가능 모델보다 우월한가?
• RQ4 피드백 제공 시 높은 수용성을 유지하면서도 간섭이 없을 경우에도 강력한 성능을 유지할 수 있는가?

주요 결과

• IntCEMs는 테스트 시점 간섭에서 최신 기술 수준의 성능을 달성했으며, 기준 모델 대비 MNIST-Add-Incomp에서 평균 4.5%의 정확도 향상을 보였다.
• CUB-Incomp에서 IntCEMs는 간섭 비율 100% 조건에서 91.47%의 정확도를 기록했으며, 다음으로 우수한 방법보다 3.1 포인트 높았다.
• CelebA의 50% 간섭 설정에서 IntCEMs는 학습된 정책을 사용해 62.01%의 정확도를 달성했으며, 무작위 간섭 대비 10.5% 향상되었다.
• 간섭이 없을 경우에도 IntCEMs는 경쟁력 있는 성능을 유지했으며, MNIST-Add에서 99.51%의 정확도를 기록해 최고의 기준 모델과 동일했다.
• 모델이 학습한 간섭 정책은 모든 데이터셋과 간섭 비율에서 무작위 및 히ュ리스틱 정책(CooP 등)보다 일관되게 뛰어난 성능을 보였다.