[논문 리뷰] xGEMs: Generating Examplars to Explain Black-Box Models

Shalmali Joshi, Oluwasanmi Koyejo외 2명|arXiv (Cornell University)|2018. 06. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 18

한 줄 요약

xGEMs는 데이터의 기본 다양체를 따라 데이터 포인트를 변형시켜 블랙박스 분류기의 결정을 설명하는 다각체 유도 예시를 생성하는 프레임워크를 제안한다. 이는 모델 편향 탐지, 학습 중 결정 경계 이동 시각화, 정확도 이외의 지표를 통한 모델 비교 향상에 기여한다. 이 방법은 데이터 다각체의 대리자로 비지도 은닉 생성 모델을 사용하며, 신뢰도 다각체를 활용해 결정 경계를 넘는 모델 행동을 정량화한다.

ABSTRACT

This work proposes xGEMs or manifold guided exemplars, a framework to understand black-box classifier behavior by exploring the landscape of the underlying data manifold as data points cross decision boundaries. To do so, we train an unsupervised implicit generative model -- treated as a proxy to the data manifold. We summarize black-box model behavior quantitatively by perturbing data samples along the manifold. We demonstrate xGEMs' ability to detect and quantify bias in model learning and also for understanding the changes in model behavior as training progresses.

연구 동기 및 목표

• 범죄 정의 및 헬스케어와 같은 고위험 분야에서 블랙박스 모델 결정에 대한 신뢰할 수 있고 현실적인 설명이 부족한 문제를 해결하기 위해.
• 기존의 훈련/테스트 샘플이나 적대적 예외에 의존하는 설명 방법의 한계를 극복하기 위해.
• 성능과 해석 가능성 사이의 트레이드오프를 가정하지 않고 데이터 다각체 전반에서 모델 행동을 진단할 수 있는 도구를 제공하기 위해.
• 특히 성별 또는 인종과 같은 보호 대상 속성에 대해 편향을 탐지하고, 모델 캘리브레이션 및 결정 경계 역학을 비교하기 위해.

제안 방법

• 기본 데이터 다각체의 대리자로 비지도 은닉 생성 모델을 훈련한다.
• 다각체를 따라 기울기 기반의 변형을 사용하여 블랙박스 분류기의 결정 경계를 가로질러는 예시를 생성한다.
• 원본 샘플에서 결정 경계까지의 거리에 따라 분류기의 예측 확률을 측정함으로써 '신뢰도 다각체'를 구성한다.
• 신뢰도 다각체에 로지스틱 함수를 피팅하여 학습 중 결정 경계의 급격함과 신뢰도 이동을 정량화한다.
• 클래스 및 보호 대상 속성(예: 성별)에 따라 분류된 2차원 히스토GRAM을 사용해 그룹 수준의 모델 비교를 수행한다.
• 신뢰도 다각체와 신뢰도 다이어그램을 시각화하고 분석하여 모델 캘리브레이션 평가 및 잘못된 분류 패턴 탐지.

실험 결과

연구 질문

• RQ1 다양체 유도 예시는 성별 또는 인종과 같은 보호 대상 속성에 대해 블랙박스 모델의 편향을 탐지하고 정량화할 수 있는가?
• RQ2 데이터 다각체를 따라 생성된 신뢰도 다각체는 학습 중 모델 행동 변화, 특히 결정 경계의 날카움과 신뢰도 이동을 어떻게 드러내는가?
• RQ3 신뢰도 다각체와 로지스틱 피팅 파라미터는 정확도나 신뢰도 다이어그램과 같은 표준 지표보다 더 유의미한 모델 비교를 가능하게 하는가?
• RQ4 다양한 모델 아키텍처(예: ResNet 대비 CNN+lrn)는 다양체 유도 예시를 통해 어떻게 다른 결정 경계 역학을 보이는가?
• RQ5 다양체 유도 예시는 국소 근사나 적대적 예외에 의존하지 않고 모델 캘리브레이션과 내성에 대한 진단 도구로 얼마나 효과적으로 활용될 수 있는가?

주요 결과

• 일반적인 정확도 수준이 유사한 여러 모델 간에 동일한 샘플에 대한 신뢰도 다각체는 상당한 차이를 보이며, 이는 결정 경계 행동의 이질성을 시사한다.
• 모델 2(CNN+lrn)는 모델 1(ResNet)보다 더 급격한 신뢰도 다각체를 보이며, 결정 경계를 넘는 예측 신뢰도의 급격한 전환을 나타낸다.
• 금발 남성에 대해서는 두 모델 모두 로지스틱 피팅에서 낮은 $x_0$ 값을 보이며, 이는 예측에 대한 낮은 신뢰도를 나타내며 캘리브레이션 문제의 징후일 수 있다.
• 두 모델 모두 학습 시간이 지남에 따라 $x_0$ 값이 감소함을 관찰하여, 결정 경계가 일부 샘플(예: 금발 얼굴인 샘플 2)에 가까워지는 동적 경계 학습이 일어나고 있음을 시사한다.
• 로지스틱 피팅 파라미터의 2차원 히스토GRAM은 성별 및 클래스 그룹 간의 결정 경계 행동 차이를 계층적으로 드러내어 편향 탐지에 기여한다.
• 신뢰도 다이어그램과 함께 신뢰도 다각체 분석을 통합하면 정확도 지표만으로는 비교가 어려운 경우에도 모델 캘리브레이션에 대한 보완적 통찰을 제공한다.