[논문 리뷰] Process-Guided Concept Bottleneck Model

Reza M. Asiyabi, SEOSAW Partnership외 2명|arXiv (Cornell University)|2026. 01. 15.

Explainable Artificial Intelligence (XAI)인용 수 0

한 줄 요약

논문은 Process-Guided Concept Bottleneck Models (PG-CBM)을 도입하여 도메인 주도 인과 제약으로 컨셉 병목 모델을 확장해 Earth Observation 데이터로부터 Above Ground Biomass Density를 추정하고, 이질적 감독과 해석 가능한 중간 출력을 가능하게 하면서도 정확도를 유지합니다.

ABSTRACT

Concept Bottleneck Models (CBMs) improve the explainability of black-box Deep Learning (DL) by introducing intermediate semantic concepts. However, standard CBMs often overlook domain-specific relationships and causal mechanisms, and their dependence on complete concept labels limits applicability in scientific domains where supervision is sparse but processes are well defined. To address this, we propose the Process-Guided Concept Bottleneck Model (PG-CBM), an extension of CBMs which constrains learning to follow domain-defined causal mechanisms through biophysically meaningful intermediate concepts. Using above ground biomass density estimation from Earth Observation data as a case study, we show that PG-CBM reduces error and bias compared to multiple benchmarks, whilst leveraging multi-source heterogeneous training data and producing interpretable intermediate outputs. Beyond improved accuracy, PG-CBM enhances transparency, enables detection of spurious learning, and provides scientific insights, representing a step toward more trustworthy AI systems in scientific applications.

연구 동기 및 목표

• 도메인-specific causal processes를 병목에 통합하여 중간 개념을 생물물리학적 기작과 일치시킨다.
• 이질적이고 부분적으로 중첩되는 감독 데이터 소스로부터 학습을 가능하게 한다.
• 기저 생태학적 과정을 반영하기 위해 중간 개념들 간의 상호의존성을 모델링한다.
• 과정 안내를 통한 일반화 및 OOD 강건성 개선에 대한 이론적 근거를 제공한다.
• PG-CBM이 해석 가능하고 인과적으로 일관된 출력을 생산하면서 예측 정확도를 유지함을 입증한다.

제안 방법

• CBMs를 확장하여 f(x)를 도메인 정의 중간 변수 Z_i를 예측하는 다수의 개념 모듈 h_i(x)로 분해하고, 이를 모아 Y로 산출하는 g를 따라간다.
• Z_i를 도메인 인과 관계와 맞추도록 프로세스 그래프-가이드 계정화 p(X,Z,Y)와 학습 가능한 조건적 매핑 p(Z_i | Pa_GP(Z_i))를 통해 강제한다.
• 각 h_i를 고유 데이터 소스로 학습시키고 희소 라벨에 대해 마스크된 손실을 사용하는 방식으로 이질적 감독을 지원한다.
• 부분 모델 간 지식 전이를 통한 엔드-투-엔드 사후 학습으로 집계 및 중간 표현을 정제한다.
• 모달리티별 인코더, 공간 피라미드 모듈, 다중-헤드 셀프 어텐션, 확률적 출력을 위한 분위수 회귀 헤드를 갖춘 통합 DL 아키텍처를 채택한다.
• focal quantile loss와 단조성, 공간 및 분위수 일관성, 그리고 adversarial bias 감소를 위한 규제 항들을 결합한 손실을 사용한다.

실험 결과

연구 질문

• RQ1 도메인 기반의 프로세스-가이드 중간 표현이 예측 정확도를 희생하지 않으면서 해석 가능성을 향상시킬 수 있는가?
• RQ2 중간 변수와 타깃에 대한 라벨이 희박하거나 겹치지 않을 때 이질적 감독을 허용하는 것이 학습을 향상시키는가?
• RQ3 인과적으로 정렬된 중간 개념이 분포 외(out-of-distribution) 강건성을 높이고 잘못된 상관관계를 줄이는가?
• RQ4 EO 데이터로부터 AGBD 추정과 같은 생태학적 과제에서 PG-CBM이 일반 CBMs 및 블랙박스 DL과 어떻게 비교되는가?

주요 결과

• PG-CBM은 EO 데이터에서 AGBD 추정 시 일반 CBMs 및 블랙박스 DL에 비해 오차와 바이어스를 줄인다.
• 일반 CBM과 비교하면, PG-CBM은 RMSD가 21.8 Mg/ha, 바이어스가 1.5 Mg/ha를 달성했고 일반 CBM은 24.3 Mg/ha 및 2.8 Mg/ha였다.
• PG-CBM은 절대 바이어스 17.5 Mg/ha와 상대 바이어스 3.2%를 산출하여 일반 CBM의 18.6 Mg/ha 및 6.1%보다 낮다.
• 모델은 이질적 감독(GEDI 캐노피 높이/피복 및 AGBD를 위한 현장 관측 데이터)에 의해 중간 개념 예측기를 학습한다.
• PG-CBM은 생태학적 기작과 일치하는 해석 가능한 중간 출력들을 제공하면서 예측 정확도를 유지한다.