[논문 리뷰] Interpretable Machine Learning: Moving From Mythos to Diagnostics

Valerie Chen, Jeffrey Li외 3명|arXiv (Cornell University)|2021. 03. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 56인용 수 12

한 줄 요약

이 논문은 해석 가능한 기계학습(Interpretable Machine Learning, IML)을 위한 진단 시각을 제안하며, 모호하고 광범위한 사용 사례에서 구체적이고 목표가 명확한 적용 분야로의 초점을 이동시킨다. IML 방법과 특정 사용 사례를 연결하는 분류 체계와, 문제 정의, 방법 선택, 방법 평가의 세 단계로 구성된 워크플로우를 도입하여 진단의 체계적 검증을 가능하게 하여 연구자와 실무자가 메트릭으로 측정 가능한 유용성을 갖춘 실제 요구에 방법을 체계적으로 연결할 수 있도록 한다.

ABSTRACT

Despite increasing interest in the field of Interpretable Machine Learning (IML), a significant gap persists between the technical objectives targeted by researchers' methods and the high-level goals of consumers' use cases. In this work, we synthesize foundational work on IML methods and evaluation into an actionable taxonomy. This taxonomy serves as a tool to conceptualize the gap between researchers and consumers, illustrated by the lack of connections between its methods and use cases components. It also provides the foundation from which we describe a three-step workflow to better enable researchers and consumers to work together to discover what types of methods are useful for what use cases. Eventually, by building on the results generated from this workflow, a more complete version of the taxonomy will increasingly allow consumers to find relevant methods for their target use cases and researchers to identify applicable use cases for their proposed methods.

연구 동기 및 목표

• 기술적 목표가 명확한 IML 방법과 실무자가 주장하는 넓고 모호한 사용 사례 사이의 지속적인 격차를 해소한다.
• IML의 패러다임을 '만능'이라는 사고에서 벗어나, 통계 도구처럼 특정 목적을 가진 체계적으로 검증된 진단 도구로 간주하도록 전환한다.
• IML 방법을 특정하고 잘 정의된 사용 사례에 연결하는 공식적인 분류 체계를 구축하여 연결 관계를 명확히 하고 방법 선택을 안내한다.
• 연구자와 소비자가 IML 방법을 실생활 응용에 대해 공동으로 정의하고 선택하며 검증할 수 있도록 지원하는 3단계 워크플로우(문제 정의, 방법 선택, 방법 평가)를 확립한다.
• 진화하는 증거 기반 분류 체계를 통해 소비자가 관련 방법을 쉽게 찾고, 연구자가 동기어린 응용 사례를 식별할 수 있도록 하여 광범위한 도입을 촉진한다.

제안 방법

• IML 방법을 특정 행동에 대한 구체적 통찰을 제공하는 목표 지향 도구로 간주하는 진단 시각을 제안하여, 고전적 통계 진단 도구와 유사하게 다룬다.
• IML 방법과 사용 사례를 모두 포함하는 분류 체계를 도입하여, 현재의 격차를 명확히 하고 향후 개발을 안내한다.
• 3단계 워크플로우를 구현한다: (1) 연구자와 소비자 간 협업을 통해 잘 정의된 목표 사용 사례(Target Use Case, TUC)를 정의한다; (2) 분류 체계 또는 이전의 방법-사용 사례 매핑을 활용해 후보 IML 방법을 선정한다; (3) 대체 지표와 시뮬레이션/사용자 연구를 통해 선정된 방법을 평가한다.
• 시뮬레이션 평가를 통해 사용자 의사결정 과정을 알고리즘적으로 모델링하고 설명 점수와 기저 진실값 사이의 상관관계를 측정함으로써 유용성을 통제된 방식으로 평가한다.
• 실제 판단 과제에서 방법의 유용성을 검증하기 위해 인간 연구를 수행한다. 예를 들어, 모델 행동에서 인과관계가 없는 상관관계를 탐지하는 데 성공적으로 기여하는지 확인한다.
• 기술적 목표가 실질적 유용성과 일치하는지 평가하기 위해 대체 지표(예: 충실도)와 실제 TUC에서의 성능 간 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 IML 커뮤니티는 어떻게 기술적 목표가 명확한 방법과 실무자가 주장하는 고수준이자 종종 모호한 사용 사례 사이의 격차를 메울 수 있는가?
• RQ2 IML 방법을 얼마나 의미 있게 진단 도구로 간주할 수 있으며, 모델 해석에서 실용적인 진단 도구로 유용하기 위한 기준은 무엇인가?
• RQ3 어떻게 체계적인 분류 체계를 구성하여 IML 방법을 특정하고 잘 정의된 사용 사례에 연결할 수 있는가?
• RQ4 연구자와 소비자가 공동으로 IML 방법을 실생활 응용을 위해 정의하고 선택하며 검증할 수 있는 워크플로우는 무엇인가?
• RQ5 시뮬레이션과 인간 평가를 어떻게 활용하여 기술적 충실도 지표를 넘어서 IML 방법의 실용적 유용성을 검증할 수 있는가?

주요 결과

• 진단 시각은 IML 방법을 모호한 문제에 대한 보편적 해결책이 아니라, 모델 행동에 대한 특정 통찰을 제공하는 목표 지향 도구로 재정의한다.
• 문제 정의, 방법 선택, 방법 평가의 3단계 워크플로우를 통해 IML 방법을 진단 도구로 체계적으로 검증할 수 있다.
• 시뮬레이션 평가는 연구자가 사용자 의사결정 과정을 알고리즘적으로 모델링하고 대체 과제에서 방법 성능을 측정함으로써 인간의 변동성에 기인한 노이즈를 줄일 수 있다.
• 인간 연구는 대체적 설명 방법과 Grad-CAM과 같은 방법이 데이터 과학자가 모델이 인과관계가 없는 상관관계를 사용하고 있는지를 성공적으로 탐지하는 데 도움이 된다는 것을 보여주며, 특정 TUC에 대한 유용성을 검증한다.
• 대체 지표(예: 충실도)와 실제 TUC에서의 성능 간 상관관계는 기술적 목표가 실질적 유용성과 일치하는지 검증하기 위해 필수적이다.
• 진화하는 분류 체계는 소비자가 자신의 사용 사례에 맞는 관련 방법을 쉽게 찾고, 연구자가 동기어린 응용 사례를 식별할 수 있도록 하여 방법 개발과 검증을 위한 피드백 루프를 촉진한다.