[논문 리뷰] Machine Learning Interpretability: A Science rather than a tool

Abdul Karim, Avinash Mishra외 2명|arXiv (Cornell University)|2018. 07. 18.

Explainable Artificial Intelligence (XAI)참고 문헌 15인용 수 8

한 줄 요약

이 논문은 기계학습 해석 가능성에 대해 도메인 특화된 질문에 답하는 데 중심을 두는 과학적 분야로 간주하는 것을 제안한다. 도구나 모델에 의존하지 않고, 통계적(연관성 기반), 인과적(개입 기반), 반사적(후행적 추론)의 세 단계 프레임워크를 도입하여 이전 수준의 지식을 바탕으로 더 깊이 있고 신뢰할 수 있는 기계학습 결정의 해석을 가능하게 하며, 기계학습의 해석 가능성 개념을 공학에서 과학으로 발전시킨다.

ABSTRACT

The term "interpretability" is oftenly used by machine learning researchers each with their own intuitive understanding of it. There is no universal well agreed upon definition of interpretability in machine learning. As any type of science discipline is mainly driven by the set of formulated questions rather than by different tools in that discipline, e.g. astrophysics is the discipline that learns the composition of stars, not as the discipline that use the spectroscopes. Similarly, we propose that machine learning interpretability should be a discipline that answers specific questions related to interpretability. These questions can be of statistical, causal and counterfactual nature. Therefore, there is a need to look into the interpretability problem of machine learning in the context of questions that need to be addressed rather than different tools. We discuss about a hypothetical interpretability framework driven by a question based scientific approach rather than some specific machine learning model. Using a question based notion of interpretability, we can step towards understanding the science of machine learning rather than its engineering. This notion will also help us understanding any specific problem more in depth rather than relying solely on machine learning methods.

연구 동기 및 목표

• 현재 연구자와 맥락에 따라 달라지는 기계학습에서의 해석 가능성에 대한 통일된 정의가 부족한 문제를 해결한다.
• 모델에 종속적이거나 사후 해석 도구의 한계를 극복하여 깊이 있는 과학적 이해를 지원하지 못하는 문제를 해결한다.
• 특정 알고리즘이나 도구가 아닌 도메인 특화된 질문에 의해 이끄는 과학으로 해석 가능성을 정립한다.
• 통계적, 인과적, 반사적 추론을 통합하여 의료 및 신약 개발과 같은 고위험 분야에서 더 신뢰할 수 있고 신뢰성 있고 실행 가능한 통찰을 제공한다.
• 모델 성능에만 초점을 맞추는 것이 아니라 '어떻게'와 '왜' 결함이 발생하는지 이해하는 데 초점을 맞추어 공정성 향상, 편향 감소 및 안전성 향상을 지원한다.

제안 방법

• 해석 가능성은 도구나 모델이 아니라 해결할 수 있는 질문의 종류에 의해 정의되는 질문 중심의 해석 가능성 프레임워크를 제안한다.
• 통계적(연관성 기반), 인과적(개입 기반), 반사적(과거 결함에 대한 후행적 추론)의 세 가지 계층적 수준의 해석 가능성을 도입한다.
• 관측된 데이터에서 특징-출력 간 연관성과 상관관계를 식별하기 위해 통계 모델링을 사용한다.
• 상관관계가 있는 특징에 대해 인과적 그래픽 모델링(예: 베이지안 네트워크)을 적용하여 '특정 특징 값을 변경하면 어떻게 되는가?'와 같은 개입 기반 질문에 답한다.
• 반사적 수준에서 구조적 방정식 모델링을 사용하여 과거 결함에 대한 '만약에' 질문, 예를 들어 '환자가 다른 치료를 받았다면 어떻게 되었을까?'와 같은 후행적 분석과 시나리오 분석을 가능하게 한다.
• 각 수준이 다음 수준을 안내하도록 프레임워크를 구성한다: 통계적 필터링이 인과적 모델링을, 그 인과적 모델링이 반사적 추론을 지원한다.

실험 결과

연구 질문

• RQ1 특정 분류 결정에 가장 중요한 특징는 무엇이며, 어떤 값 범위가 특정 클래스를 구분하는가?
• RQ2 특정 특징 값, 특히 훈련 데이터에서 관측되지 않은 값의 변화가 모델의 출력에 어떻게 영향을 미치는가?
• RQ3 과거의 어떤 사례에서 다른 결정이 내려졌다면 어떤 일이 일어났을까? 이는 공정성이나 인과성과 어떻게 관련되는가?
• RQ4 해석 가능성은 상관관계를 넘어서 특징과 결과 간의 인과관계를 어떻게 설정할 수 있는가?
• RQ5 해석 가능성은 생물정보학 및 약물 설계와 같은 분야에서 과학적 발견을 어떻게 지원할 수 있는가?

주요 결과

• 해석 가능성은 도구나 모델에 의해 정의되어서는 안 되며, 특히 연관성, 개입, 반사적 추론과 관련된 과학적 질문을 해결할 수 있는 능력에 의해 정의되어야 한다.
• 통계적 해석 가능성은 관측된 데이터를 통해 특징 중요도와 조건부 확률과 같은 初기 통찰을 제공한다.
• 인과적 해석 가능성은 상관관계를 넘어서 개입의 영향을 모델링하여 'X를 변경하면 어떻게 되는가?'와 같은 질문에 답할 수 있다.
• 반사적 해석 가능성은 '환자가 다른 치료를 받았다면 어떻게 되었을까?'와 같은 후행적 분석을 가능하게 하여 후행적 추론과 시나리오 분석을 지원한다.
• 계층적 프레임워크는 통계적 연관성에서부터 인과적 설명, 마지막으로 반사적 추론으로 지식이 흐르게 하여 과학적 통찰을 향상시킨다.
• 이 질문 기반 접근법은 고위험 분야에서 더 깊은 이해를 가능하게 하고, 모델의 신뢰성을 높이며, 편향과 안전성 문제 탐지에 도움을 준다.