[논문 리뷰] Analyzing the Interpretability Robustness of Self-Explaining Models

Haizhong Zheng, Earlence Fernandes외 1명|arXiv (Cornell University)|2019. 05. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 4

한 줄 요약

이 논문은 자기 설명 모델(self-explaining models, SEMs)의 해석 가능성에 대한 내성적 안정성에 대해 조사하며, 안정적인 설명을 위해 설계된 바에도 불구하고 SEMs가 모델 예측을 유지하면서도 해석 가능한 기초 개념을 극적으로 변화시키는 적대적 편향에 취약하다는 점을 입증한다. 주요 기여는 첫 번째 단계의 특징 추출 함수 $h(x)$에서의 내성적 안정성 부족이 근본 원인임을 규명한 것으로, 향후 연구에서 기초 개념 생성 과정의 내성적 안정성 강화가 필요하다고 주장한다.

ABSTRACT

Recently, interpretable models called self-explaining models (SEMs) have been proposed with the goal of providing interpretability robustness. We evaluate the interpretability robustness of SEMs and show that explanations provided by SEMs as currently proposed are not robust to adversarial inputs. Specifically, we successfully created adversarial inputs that do not change the model outputs but cause significant changes in the explanations. We find that even though current SEMs use stable co-efficients for mapping explanations to output labels, they do not consider the robustness of the first stage of the model that creates interpretable basis concepts from the input, leading to non-robust explanations. Our work makes a case for future work to start examining how to generate interpretable basis concepts in a robust way.

연구 동기 및 목표

• 자기 설명 모델(SEMs)이 예측을 유지하는 적대적 입력 편향 조건에서도 해석 가능성에 대해 내성적으로 안정적인가 평가하기.
• SEM이 모델 출력은 유지하지만 설명을 변화시키는 적대적 공격에 얼마나 취약한가 조사하기.
• 현재 SEMs에서 해석 가능성의 취약성의 근본 원인을 특정하기, 특히 해석 가능한 기초 개념을 생성하는 첫 번째 단계 함수 $h(x)$에 초점 맞추기.
• 입력 편향에 대한 내성적 안정성을 향상시키기 위해 향후 연구에 $h(x)$의 안정성 강화를 중심으로 하기.
• 적대적 훈련과 $h(x)$에 대한 국소적 리프시츠 제약 조건을 통합하여 SEMs를 향상시키는 새로운 방향 제안하기.

제안 방법

• 모델 예측을 유지하면서도 해석 가능한 기초 개념 $h(x)$의 변화를 최대화하는 타겟 적대적 공격을 설계 및 구현하기.
• MNIST 데이터셋에서 SENNs와 PrototypeDL에 대해 $L_∞$ 노름을 사용한 프로젝션 기반 경사 하강법(PGD)을 적용하여 적대적 예제 생성($\epsilon = 0.3$).
• 입력 표현과 학습된 프로토타입 간의 유사도를 측정하기 위해 거리 측도 $D(x,y)$ 정의하여 설명 일관성 평가하기.
• 내성적 안정성 평가를 위해, 같은 클래스 및 다른 클래스의 샘플들에 대해 적대적 예제와 자연적 예제 간의 $h(x)$의 $l_2$-노름 거리 비교하기.
• 입력 변화에 대한 설명 계수 $\theta(x)$의 민감도를 정량화하기 위해 국소적 리프시츠 안정성 측도 $\hat{L}(x)$ 적용하기.
• 자연적 입력과 적대적 편향이 가해진 입력을 모두 사용하여 MNIST에서 SEMs를 훈련 및 테스트하여 설명 일관성 비교하기.

실험 결과

연구 질문

• RQ1 자기 설명 모델(SEMs)은 모델 예측을 유지하면서도 설명을 변화시키는 적대적 편향에 대해 내성적으로 안정한가?
• RQ2 해석 가능한 기초 개념을 생성하는 데 책임이 있는 첫 번째 단계 함수 $h(x)$는 소규모 입력 편향에 대해 충분한 내성적 안정성을 보이는가?
• RQ3 동일한 예측 레이블에 대해 SEMs가 극적으로 다른 설명을 생성하도록 조작할 수 있는 적대적 공격를 설계할 수 있는가?
• RQ4 PrototypeDL에서 적대적 예제와 프로토타입 간의 거리는 자연적 예제와 비교해 어떻게 되는가?
• RQ5 $h(x)$가 안정성에 대해 제약을 받지 않을 경우 SEMs의 해석 가능성 내성적 안정성이 어느 정도 붕괴되는가?

주요 결과

• 모델 예측을 유지하는 적대적 편향이 해석 가능한 기초 개념 $h(x)$에 극적인 변화를 일으켜 해석 가능성 내성적 안정성의 실패를 보여준다.
• 적대적 외부 클래스 거리가 자연적 내부 클래스 거리보다 작았으며, 이는 적대적 예제가 종종 다른 클래스의 특징을 띠게 되었음을 시사한다.
• PrototypeDL에서 적대적 예제는 정답 프로토타입보다 잘못된 프로토타입과 더 가까운 거리를 가지며, 이는 오해를 낳는 설명을 초래한다 (예: 숫자 '2'가 '0'과 유사하다고 설명됨).
• 적대적 예제에 대해 $D(x^*,y)$와 $\min_{y' \neq y} D(x^*,y')$의 분포는 정답 레이블과 오답 레이블 간에 구분이 없었으며, 이는 설명의 정확성 상실을 의미한다.
• 국소적 리프시츠 측도 $\hat{L}(x)$는 $\theta(x)$는 안정되어 있음을 보여주지만, 불안정성은 $h(x)$에서 기인함을 확인하여 첫 번째 단계 특징 추출기가 취약한 점을 입증한다.
• 결과적으로 현재 SEMs는 $\theta(x)$에 대한 안정성 보장가 있음에도 불구하고 $h(x)$ 구성 요소에서 내성적 안정성이 부족하며, 향후 연구는 $h(x)$의 안정성 강화에 초점을 맞춰야 한다고 제안한다.