[논문 리뷰] A Formal Framework to Characterize Interpretability of Procedures

Amit Dhurandhar, Vijay S. Iyengar외 2명|arXiv (Cornell University)|2017. 07. 12.

Explainable Artificial Intelligence (XAI)참고 문헌 16인용 수 15

한 줄 요약

이 논문은 인간 중심이 아닌 타겟 모델(TM)에 상대적인 해석 가능성 기반의 공식적 프레임워크인 $δ$-해석 가능성($δ$-interpretability)을 제안한다. 이는 해석 가능성의 정도를 타겟 모델(TM)이 정보를 제공받을 때 성능 향상($\geq\delta$) 정도로 정량화함으로써, 인간, 선형 모델, 또는 복잡한 시스템을 포함한 다양한 모델에 대해 정량적 비교가 가능하게 한다. 성능 향상의 정도는 정확도, 강인성, 다양한 모델에의 적용 가능성 측면에서 평가된다.

ABSTRACT

We provide a novel notion of what it means to be interpretable, looking past the usual association with human understanding. Our key insight is that interpretability is not an absolute concept and so we define it relative to a target model, which may or may not be a human. We define a framework that allows for comparing interpretable procedures by linking it to important practical aspects such as accuracy and robustness. We characterize many of the current state-of-the-art interpretable methods in our framework portraying its general applicability.

연구 동기 및 목표

• 해석 가능성의 개념을 인간 중심의 성질로 재정의하는 것이 아니라, 타겟 모델(TM)에 상대적이고 성능 기반의 개념으로 재정의하는 것.
• 정확도, 강인성, 다양한 타겟 모델(TM)에 대한 유용성 측면에서 비교 가능한 일반화 가능한 공식적 프레임워크를 제공하는 것.
• 의료 및 악성코드 탐지와 같은 실제 응용 분야에서 최첨단 해석 가능성 방법을 특성화하여 프레임워크의 적용 가능성을 입증하는 것.
• 해석 가능성 평가를 인간의 이해를 넘어서, 타겟 모델이 기계학습 모델이거나 초인적 능력을 지닌 시스템일 경우에도 가능하게 하는 것.
• 측정 가능한 성능 향상($\delta$)과 분포 이동 또는 악성 공격 조건 하에서의 강인성($\gamma$)을 기반으로 해석 가능성의 공식화를 수행하는 것.

제안 방법

• 타겟 분포 $D_T$에서 타겟 모델 $M_T$의 성능을 최소 $\delta$ 이상 향상시키는 절차 $P_I$를 $δ$-해석 가능성으로 정의한다.
• 해석 가능성의 문제를 의사소통 과제로 재정의하여, 절차가 타겟 모델이 소비할 수 있는 형식(예: 특징 가중치 또는 선택된 특징)으로 정보를 전달해야 한다고 규정한다.
• 기본 분포 또는 특징 공간의 특정 영역에 집중하는 재가중된 분포로 $D_T$를 정의함으로써 국소적 및 전역적 해석 가능성 모두를 허용한다.
• 분포 이동 또는 악성 공격에 대한 강인성을 확보하기 위해 $\gamma$-해석 가능성 개념을 도입한다.
• 의료 분야 사례(Chang & Weiner, 2010)를 활용하여, 264차원의 복잡한 모델이 특징 매핑을 통해 32차원 선형 타겟 모델에 대해 $δ$-해석 가능하게 되는 방식을 설명한다.
• 다양한 분포와 민감도 임계값($\alpha$)을 고려하여, 유사한 해석 가능성 성능을 보이는 모델의 동치 클래스를 정의한다.

실험 결과

연구 질문

• RQ1 해석 가능성은 인간의 이해에 의존하지 않고도 어떤 타겟 모델에 대해서나 적용 가능한 공식적 정의가 가능한가?
• RQ2 해석 가능성에서의 성능 향상($\delta$)은 무엇을 의미하며, 다양한 종류의 타겟 모델에 대해 어떻게 측정할 수 있는가?
• RQ3 타겟 모델이 인간이 아닌 선형 모델이나 신경망일 경우, 해석 가능성은 어떻게 의미 있게 비교할 수 있는가?
• RQ4 간접적 강인성($\gamma$)은 해석 가능성에 어떤 영향을 미치며, 언제 중요한 고려 사항이 되는가?
• RQ5 민감도 임계값($\alpha$)을 통해 국소적 해석 가능성, 분포 이동, 기능적 의미를 얼마나 잘 반영할 수 있는가?

주요 결과

• 프레임워크는 의료(ACG 시스템) 및 악성코드 탐지 분야에서의 기존 해석 가능성 방법들을 타겟 모델에 대한 성능 향상($\delta$) 측면에서 정량화함으로써 성공적으로 특성화하였다.
• 의료 사례에서 264차원의 EDC 모델은 특징 매핑을 통해 32차원 선형 모델(ADG 시스템)에 대해 $δ$-해석 가능하게 되었으며, 평균 절대 예측 오차(MAPE)가 유의미한 수준으로 향상되었다.
• 프레임워크는 해석 가능성과 모델의 복잡성 간의 필수적 연관성을 부정함으로써, 깊이 있는 모델도 타겟 모델의 성능 향상이 $\delta$ 이상이면 해석 가능하다는 점을 드러냈다.
• 간접적 강인성($\gamma$)은 테스트 세트가 완전하지 않을 경우에만 문제로 제기되며, 이는 해석 가능성 평가 시 분포 가정의 중요성을 강조한다.
• 민감도 임계값 $\alpha$를 통해 동치 클래스를 정의함으로써, 다양한 방법 간의 해석 가능성 성능에 대한 기능적 비교가 가능해졌다.
• 이 접근법은 인간 중심의 해석 가능성에 국한되지 않으며, 선형 모델, 의사결정 트리, 초인적 능력을 지닌 시스템 등 비인간 타겟 모델의 해석 가능성 평가도 가능하게 한다.