[논문 리뷰] Is Disentanglement all you need? Comparing Concept-based & Disentanglement Approaches

Dmitry Kazhdan, Botty Dimanov외 4명|arXiv (Cornell University)|2021. 04. 14.

Explainable Artificial Intelligence (XAI)참고 문헌 14인용 수 4

한 줄 요약

이 논문은 해석 가능한 AI를 위한 개념 기반 설명과 분리 학습 접근법을 비교하며, 최신 기법들이 데이터 비효율성, 작업 민감성, 개념 표현 선택에 대한 취약성이라는 공통된 문제를 겪고 있음을 입증한다. 해석 가능성이라는 공통된 목표를 가짐에도 불구하고, 어느 한 접근법도 항상 강건하지 않으며, 설계 및 훈련 과정에서의 근본적인 상충 관계를 드러낸다.

ABSTRACT

Concept-based explanations have emerged as a popular way of extracting human-interpretable representations from deep discriminative models. At the same time, the disentanglement learning literature has focused on extracting similar representations in an unsupervised or weakly-supervised way, using deep generative models. Despite the overlapping goals and potential synergies, to our knowledge, there has not yet been a systematic comparison of the limitations and trade-offs between concept-based explanations and disentanglement approaches. In this paper, we give an overview of these fields, comparing and contrasting their properties and behaviours on a diverse set of tasks, and highlighting their potential strengths and limitations. In particular, we demonstrate that state-of-the-art approaches from both classes can be data inefficient, sensitive to the specific nature of the classification/regression task, or sensitive to the employed concept representation.

연구 동기 및 목표

• 개념 기반 설명과 분리 학습 접근법의 강점, 한계, 그리고 잠재적 가정을 체계적으로 비교하기.
• 데이터 효율성, 작업 의존성, 개념 표현의 변동성이 모델 성능과 해석 가능성에 미치는 영향을 조사하기.
• 양 대안 모두에서 훈련 데이터, 레이블 품질, 목적 함수 설계와 관련된 실패 모드를 규명하기.
• 향후 해석 가능한 표현 학습 연구를 위한 통합 벤치마크 라이브러리 제공하기.
• 분리 학습 자체가 해석 가능성 보장하지 않으며, 개념 기반 방법도 개념 표현 선택에 대해 본질적으로 강건하지 않음을 강조하기.

제안 방법

• 최신 개념 기반(CBM, CME) 및 분리 학습(VAE 기반) 모델을 구현한 포괄적인 라이브러리 제안 및 비교 평가를 위한 기반 마련.
• dSprites 및 shapes3d 데이터셋을 대상으로 개념 종속성과 변동 수준를 제어한 실험을 통해 실패 모드를 고립시키기.
• 개념에서 작업으로의 종속성 분석을 통해 다양한 작업에서 개념이 하류 레이블을 얼마나 잘 예측하는지 측정하기.
• 데이터 효율성 평가를 위해 점진적으로 작은 데이터 부분집합으로 모델을 훈련시켜 성능 저하 정도 분석하기.
• 개념 표현의 취약성 평가를 위해 입력 수준의 개념 강도(예: 공간적 또는 색상 차이)를 조작하면서도 개념 값은 동일하게 유지하기.
• 감독 학습(CBM) 및 사후 처리(CME) 개념 추출을 모두 적용하고, 약한 감독 및 무감독 분리 학습 방법 간 비교 수행하기.

실험 결과

연구 질문

• RQ1 다양한 작업에서 개념 기반 및 분리 학습 접근법의 데이터 효율성은 어떻게 비교될 수 있는가?
• RQ2 모델 성능이 하류 분류 또는 회귀 작업의 성격에 얼마나 민감한가?
• RQ3 예를 들어 색상 또는 공간적 변동성과 같은 개념의 선택과 표현 방식이 모델의 강건성과 해석 가능성에 어떤 영향을 미치는가?
• RQ4 개념 표현이 노이즈가 있거나 모호할 경우 최신 모델의 실패 모드는 무엇인가?
• RQ5 분리 학습만으로 인간이 이해할 수 있는 표현을 확보할 수 있는가, 아니면 추가 제약 조건이 필요한가?

주요 결과

• 최신 개념 기반 및 분리 학습 모델은 모두 데이터 비효율적이며, 소규모 데이터셋으로 훈련할 경우 성능 저하가 심각하게 발생한다.
• 모델 성능은 하류 작업의 성격에 매우 민감하며, 다수 또는 모호한 개념에 의존하는 작업일수록 성능 저하가 뚜렷하다.
• 개념 표현의 취약성은 주요 문제이다: 개념 값이 동일하더라도 입력 수준의 강도(예: RGB 공간 내 색상 거리) 차이가 모델 성능에 상당한 영향을 미친다.
• CBM은 제공된 개념이 포괄하지 못하는 정보에 의존하는 작업에서는 실패하며, 이로 인해 비용 개념 정보가 혼합된 '오염된' 개념 표현이 발생한다.
• CME 방법은 사전 훈련된 특징 추출기 φ의 품질에 크게 의존하며, 은닉 표현이 개념 예측에 유의미하지 않다면 신뢰성이 급격히 떨어진다.
• 무감독 분리 학습 방법은 무한한 잠재 솔루션을 학습할 수 있지만, 명시적 감독이 없이선 해석 가능하거나 유용한 솔루션이 보장되지 않는다.