[논문 리뷰] Concept Bottleneck Models

Pang Wei Koh, Thao Nguyen외 5명|arXiv (Cornell University)|2020. 07. 09.

Machine Learning in Bioinformatics인용 수 150

한 줄 요약

논문은 입력 데이터에서 인간이 지정한 개념을 먼저 예측하고 이 개념들로부터 최종 목표를 예측하는 개념 병목 모델을 도입합니다. 이를 통해 테스트 시 개입이 가능하고 해석 가능성을 높이면서도 작업 정확도를 희생하지 않습니다.

ABSTRACT

We seek to learn models that we can interact with using high-level concepts: if the model did not think there was a bone spur in the x-ray, would it still predict severe arthritis? State-of-the-art models today do not typically support the manipulation of concepts like "the existence of bone spurs", as they are trained end-to-end to go directly from raw input (e.g., pixels) to output (e.g., arthritis severity). We revisit the classic idea of first predicting concepts that are provided at training time, and then using these concepts to predict the label. By construction, we can intervene on these concept bottleneck models by editing their predicted concept values and propagating these changes to the final prediction. On x-ray grading and bird identification, concept bottleneck models achieve competitive accuracy with standard end-to-end models, while enabling interpretation in terms of high-level clinical concepts ("bone spurs") or bird attributes ("wing color"). These models also allow for richer human-model interaction: accuracy improves significantly if we can correct model mistakes on concepts at test time.

연구 동기 및 목표

• 실무자가 사용하는 높은 수준의 개념(예: 뼈돌출, 관절 간격 축소)과 일치하도록 모델의 추론을 상호작용 AI 시스템으로 동기부여합니다.
• 병목층과 보조 손실을 이용해 어떤 엔드-투-엔드 신경망도 개념 병목 모델로 바꾸는 실용적 방법을 제시합니다.
• 개념 병목 모델이 경쟁력 있는 작업 성능을 달성하는 동시에 개념 수준의 개입을 가능하게 한다는 것을 보여줍니다.
• 개념 병목이 실제 개념과 얼마나 잘 일치하는지 평가하고 공변량 시프트에 대한 강건성을 탐구합니다.

제안 방법

• 기존 네트워크에 개념 수 k에 해당하는 사이즈의 병목층을 레이어를 재조정하여 삽입합니다.
• 보조 손실 L_C를 사용해 병목 뉴런을 제공된 개념 c(구성요소별)와 정렬되도록 학습합니다.
• 독립형, 순차형, 공동 병목 학습 방식이 표준 엔드-투-엔드 모델과 어떻게 다른지 비교합니다.
• 개념 주석 c와 목표 y를 사용해 두 가지 작업(무릎 X-레이 등급 OAI, 조류 종 식별 CUB)을 평가합니다.
• 예측된 개념  hat{c}를 참 값으로 교체하는 테스트 시 개입을 통해 개념 정확도, 작업 정확도, 데이터 효율성 및 개입 가능성을 평가합니다.

실험 결과

연구 질문

• RQ1 개념 병목 모델이 해석 가능한 개념을 예측하면서도 경쟁력 있는 작업 성능을 달성할 수 있는가?
• RQ2 예측된 개념에 대한 테스트 시 개입이 최종 작업 정확도를 향상시키는가, 어떤 조건에서 그런가?
• RQ3 독립형, 순차형, 공동 병목 학습 체계가 작업 정확도, 개념 정확도, 개입 가능성 사이에서 어떤 절충을 보이는가?
• RQ4 개념 병목 모델이 표준 엔드-투-엔드 모델에 비해 공변량 시프트에 더 강건한가?

주요 결과

모델	y RMSE (OAI)	y 오차 (CUB)
Independent	0.435 ± 0.024	0.240 ± 0.012
Sequential	0.418 ± 0.004	0.243 ± 0.006
Joint	0.418 ± 0.004	0.199 ± 0.006
Standard	0.441 ± 0.006	0.175 ± 0.008
no bottleneck	0.443 ± 0.008	0.173 ± 0.003
Multitask	0.425 ± 0.010	0.162 ± 0.002

• 개념 병목 모델은 OAI 및 CUB에서 표준 엔드-투-엔드 모델과 경쟁력 있는 작업 정확도를 달성하면서 높은 개념 정확도를 달성합니다.
• 공동 병목은 작업 성능에서 표준 모델과 일치하거나 능가할 수 있으며 좋은 개념 정확도를 제공합니다(평균 개념 RMSE ~0.53 OAI; ~0.03–0.034 개념 RMSE/CUB).
• 선형 탐침을 통한 사후 개념 분석은 개념과 정렬되도록 학습된 모델에 비해 성능이 떨어져 명시적 개념 감독의 가치가 강조됩니다.
• 테스트 시 예측된 개념을 실제 값으로 바꿔 개입하는 것은 작업 정확도를 크게 향상시킬 수 있으며, 특히 OAI에서 효과가 큽니다. 그 효과는 학습 방식 및 모델의 비선형성에 따라 달라집니다.
• CUB에서 개념 그룹을 대상으로 한 개입은 상당한 이득을 보여주며, 독립형 병목이 순차형/공동 변형보다 일반적으로 개입에 더 용이합니다.
• 병목 모델은 배경 시프트(TravelingBirds)에 대한 강건성을 보여주며 공변량 시프트 하에서 표준 모델보다 낮은 작업 오차를 달성합니다.