[논문 리뷰] Concept Gradient: Concept-based Interpretation Without Linear Assumption

Andrew Bai, Chih‐Kuan Yeh외 3명|arXiv (Cornell University)|2022. 08. 31.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 개념 활성화 벡터(CAV)의 비선형 확장인 개념 기울기(Concept Gradients, CG)를 소개한다. CG는 체인 규칙을 사용하여 모델 예측값에 대한 사후 개념 함수의 기울기를 계산함으로써, 더 정확하고 인과적으로 해석 가능한 개념 중요도 평가를 가능하게 한다. 실제 데이터셋에서 CG는 평균 국소 재현율@30에서 CAV보다 7.9% 향상되었고, 전역 재현율@30에서는 21.7% 향상되었으며, 선형 경우에서는 CAV를 재구성한다.

ABSTRACT

Concept-based interpretations of black-box models are often more intuitive for humans to understand. The most widely adopted approach for concept-based interpretation is Concept Activation Vector (CAV). CAV relies on learning a linear relation between some latent representation of a given model and concepts. The linear separability is usually implicitly assumed but does not hold true in general. In this work, we started from the original intent of concept-based interpretation and proposed Concept Gradient (CG), extending concept-based interpretation beyond linear concept functions. We showed that for a general (potentially non-linear) concept, we can mathematically evaluate how a small change of concept affecting the model's prediction, which leads to an extension of gradient-based interpretation to the concept space. We demonstrated empirically that CG outperforms CAV in both toy examples and real world datasets.

연구 동기 및 목표

• 모델 활성화 공간의 선형 부분공간에 개념이 존재한다는 제한적인 가정에 의존하는 개념 활성화 벡터(CAV)의 한계를 해결하기 위해.
• 입력 특징에서 사후 비선형으로 정의된 개념으로의 기울기 기반 해석을 의미 있게 확장하여, 개념의 미세한 변화가 모델 예측에 미치는 영향을 파악하기 위해.
• CAV에서 사용하는 상관관계 기반 내적을 피하는 인과적으로 해석 가능한 개념 중요도 측정 방법을 제공하기 위해.
• 비선형 개념 함수가 실제 데이터셋에서 선형 근사보다 더 정확하고 강건한 개념 중요도 점수를 제공함을 보여주기 위해.
• 심장마비 합병증 분류와 같은 의료 영상 분류 과제에서 CG가 임상 지식과 일치함을 입증하기 위해.

제안 방법

• CG는 모델 출력과 개념 함수에 대한 입력 기울기를 모두 입력에 대해 계산한다.
• 이 기울기를 체인 규칙을 적용하여 조합함으로써, 모델 출력에 대한 개념에 대한 도함수를 효과적으로 추정하고, 기울기 기반 개념 중요도를 가능하게 한다.
• 비선형으로 정의된 개념일지라도, 모델 예측이 개념의 변화에 얼마나 국소적으로 민감한지를 포착한다.
• 개념 함수가 선형인 경우, CG는 수학적으로 CAV 방법을 정확히 복원한다(스케일링 차이가 있음). 이는 이전 연구와의 일관성을 보여준다.
• 다중 매핑이 가능한 경우, CG는 기울기 노름이 최소인 매핑을 선택함으로써 개념 중요도의 과대평가를 방지한다.
• 표준 딥 러닝 파이프라인과의 호환성을 확보하기 위해, 개념 모델의 피팅 전 단계의 레이어에 적용된다.

실험 결과

연구 질문

• RQ1 입력 특징에서의 기울기 기반 해석을 사후 비선형으로 정의된 개념으로 의미 있게 확장할 수 있는가?
• RQ2 CAV의 선형 부분공간 가정을 완화하면 더 정확하고 신뢰할 수 있는 개념 중요도 평가가 가능해지는가?
• RQ3 복잡하고 비선형인 개념을 포함한 실제 데이터셋에서, CG는 CAV보다 성능이 뛰어나게 되는가?
• RQ4 의료 영상 해석 과제에서 CG는 임상 지식과 일치하는 개념 중요도 점수를 생성할 수 있는가?
• RQ5 여러 개념 매핑이 존재하는 경우, CG는 개념 중요도를 과대평가하지 않는가?

주요 결과

• CG는 모든 데이터셋에서 CAV보다 일관되게 뛰어난 성능을 보이며, 평균 최적 국소 재현율@30에서 7.9% 높은 성능을 기록했다.
• CG는 최고의 CAV 성능 대비 전역 재현율@30에서 21.7% 높은 성능을 기록하여 관련 개념의 검색 능력 향상을 보였다.
• 심장마비 합병증 데이터셋에서 CG 점수는 임상 문헌과 일치했으며, 예를 들어 재발성 심근경색과 심부전을 고위험 합병증으로 올바르게 랭킹했다.
• 희귀하지만 치명적인 합병증인 심장막 파열의 경우, CG는 높은 중요도 점수(1.62)를 할당했으며, 이는 임상 보고서의 높은 사망률과 일치했다.
• 기존 CAV가 직관에 어긋나거나 오류가 발생하는 경우(예: 알려진 위험 요소에 대해 음수 값 할당), CG는 더 타당하고 해석 가능한 결과를 제공했다.
• 개념 함수가 선형인 경우, CG는 정확히 CAV 방법을 복원하여 이론적 일관성을 입증했다.