[논문 리뷰] Do Concept Bottleneck Models Learn as Intended?

Andrei Margeloiu, Matthew Ashman외 4명|arXiv (Cornell University)|2021. 05. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 8인용 수 18

한 줄 요약

이 논문은 개념 버블넥 모델(CBMs)이 의도한 방식으로 학습되는지 조사하며, 공동 및 순차적 훈련이 입력 공간에서 의미 있는 개념을 생성하지 못함을 발견한다. 통합 기울기와 같은 사후 해석 기법을 사용하여 저자들은 개념이 관련 입력 영역과 대응하지 않음을 보여주며, 이는 해석 가능성, 예측 가능성, 간섭 가능성의 기능을 약화시킨다. 이는 현재 CBMs에서 독립적 훈련 방식이 유일한 실현 가능한 접근법일 수 있음을 시사한다.

ABSTRACT

Concept bottleneck models map from raw inputs to concepts, and then from concepts to targets. Such models aim to incorporate pre-specified, high-level concepts into the learning procedure, and have been motivated to meet three desiderata: interpretability, predictability, and intervenability. However, we find that concept bottleneck models struggle to meet these goals. Using post hoc interpretability methods, we demonstrate that concepts do not correspond to anything semantically meaningful in input space, thus calling into question the usefulness of concept bottleneck models in their current form.

연구 동기 및 목표

• 개념 버블넥 모델(CBMs)이 해석 가능성, 예측 가능성, 간섭 가능성이라는 세 가지 핵심 요구사항을 충족하는지 평가하기 위해.
• CBMs에서 사전 지정된 개념이 입력 공간 내 의미 있는 특징과 대응하는지 조사하기 위해.
• 의도한 목표를 달성하기 위해 공동, 순차, 독립 훈련 전략의 효과를 평가하기 위해.
• 기존의 사후 해석 기법이 CBMs 내 개념 표현을 분석하는 데에서 가지는 한계를 검토하기 위해.
• CBMs의 공동 훈련이 개념적으로 의미 있고 유용한 표현을 이끌어낸다는 가정을 도전하기 위해.

제안 방법

• 저자들은 각 개념에 대한 입력 공간 내 특징 중요도를 분석하기 위해 통합 기울기, 기울기, 스무스그레이드와 같은 사후 해석 기법을 사용한다.
• 독립(지표 개념을 사용해 g와 f를 별도로 훈련), 순차(예측된 개념을 f에 사용), 공동(가중치 손실을 사용해 g와 f를 함께 훈련)의 세 가지 훈련 전략을 평가한다.
• 개념 레이어에서 입력 공간으로의 사전성 지도를 생성하여 각 개념에 가장 영향을 주는 입력 영역을 시각화한다.
• 예측된 개념 값과 진짜 개념 값 간의 상관계수(R²)를 사용해 CBMs의 성능을 비교하며, 다양한 모델 간의 목표 예측 간 상관관계도 분석한다.
• OAI(10개의 임상 개념이 있는 X-ray 평가용)와 CUB(112개의 의미적 특징이 있는 새 식별용)의 두 가지 벤치마크 데이터셋에서 실험을 수행한다.
• 일반화 표현(예: 원-핫 인코딩)에 따른 모델 행동을 비교하고, 예측된 개념을 진짜 값으로 교체함으로써 간섭 가능성의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공동 또는 순차 목표로 훈련된 개념 버블넥 모델이 입력 공간 내 의미 있는 특징과 대응하는 개념을 생성하는가?
• RQ2 CBMs가 해석 가능성, 예측 가능성, 간섭 가능성이라는 세 가지 요구사항을 어느 정도 충족하는가?
• RQ3 통합 기울기와 같은 사후 해석 기법이 CBM 개념에 대한 입력 특징 중요도를 어떻게 할당하는가?
• RQ4 독립 훈련 전략이 현재 CBM 프레임워크에서 세 가지 요구사항을 모두 달성하는 데 있어서 유일한 실현 가능한 방법인가?
• RQ5 개념 표현 방식(예: 원-핫 vs. 스칼라)이 CBMs의 간섭 가능성 및 개념 학습 성공에 어떤 영향을 미치는가?

주요 결과

• 공동 및 순차 CBM 변종은 전체 개체(예: 날개나 다리 등 특정 부위가 아닌)에 집중하는 사전성 지도를 통해 의미 있는 입력 영역과 대응하는 개념을 학습하지 못함을 보여준다.
• '날개 무늬' 개념의 경우, 공동 및 독립 모델 모두 전체 새에 중요도를 할당하며, 이는 개념의 공간 국소화가 불량함을 시사한다.
• 새 이미지에서 '다리 색상' 개념은 여러 사전성 지도 방법에서 다리 영역에 주목하지 않음을 확인하여, 개념이 의도한 시각적 영역과 대응하지 않음을 입증한다.
• 예측된 개념 값과 진짜 개념 값 간 상관계수는 공동 및 순차 모델에서 각각 R² = 0.24 및 R² = 0.07로, 개념 오라클(R² = 0.47)에 비해 유의미하게 낮아 개념 예측 능력이 열악함을 나타낸다.
• 독립 CBM은 개념 오라클과 가장 높은 상관계수(R² = 0.47)를 기록하여 개념의 무결성을 가장 잘 유지하며, 현재 CBMs에서 실현 가능한 유일한 훈련 전략일 수 있음을 시사한다.
• 이 연구는 기존의 사전성 지도 방법이 CBMs 내 개념 표현을 이해하는 데 부적절할 수 있음을 시사하며, 향상된 할당 기법이 필요함을 강조한다.