[논문 리뷰] The Doctor Just Won't Accept That!

Zachary C. Lipton|arXiv (Cornell University)|2017. 11. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 3인용 수 55

한 줄 요약

이 논문은 기계 학습에서의 해석가능성이 정의가 불명확하고 실제 이해관계자의 요구와 일치하지 않는다고 주장하며, 현재 학습 패러다임 내에서의 정확한 문제 정의, 이해관계자 참여, 타당성 점검을 촉구한다.

ABSTRACT

Calls to arms to build interpretable models express a well-founded discomfort with machine learning. Should a software agent that does not even know what a loan is decide who qualifies for one? Indeed, we ought to be cautious about injecting machine learning (or anything else, for that matter) into applications where there may be a significant risk of causing social harm. However, claims that stakeholders "just won't accept that!" do not provide a sufficient foundation for a proposed field of study. For the field of interpretable machine learning to advance, we must ask the following questions: What precisely won't various stakeholders accept? What do they want? Are these desiderata reasonable? Are they feasible? In order to answer these questions, we'll have to give real-world problems and their respective stakeholders greater consideration.

연구 동기 및 목표

• ML에서 해석가능성의 다의성과 그 규범적 함의를 명확히 한다.
• ML 연구자들이 '해석가능하다고' 부르는 것과 이해관계자(예: 의사, 정책입안자)가 요구하는 것 사이의 차이를 부각한다.
• 진보가 기존 학습 프레임워크 내의 정확한 문제 설정과 실현가능한 목표에 의존한다는 점을 주장한다.
• 연구 방향을 안내하기 위해 이해관계자 및 정책 커뮤니티의 참여를 옹호한다.

제안 방법

• ML 문헌에서의 해석가능성 정의와 그 남용에 대한 개념적 비판을 수행한다.
• 보고된 해석가능한 방법과 이해관계자 요구 사이의 차이를 분석한다.
• 해석가능성 기대치를 형성하는 데 있어 정책, 법률, 윤리(예: GDPR, 알고리즘적 공정성)의 역할을 논의한다.
• 문제 구성과 ML 연구자와 외부 이해관계자 간의 협력에 대한 권고를 제공한다.

실험 결과

연구 질문

• RQ1 다양한 이해관계자들이 기계 학습에서 해석가능성으로부터 무엇을 원하는가?
• RQ2 이러한 바람직한 요구가 현재의 감독학습 패러다임에서 실행 가능한가?
• RQ3 해석가능한 AI를 진전시키기 위해 기계학습 커뮤니티가 이해관계자 의견을 어떻게 반영해야 하는가?

주요 결과

• 해석가능성은 단순성에서 사후 설명, 인과적 이해에 이르는 다의성(다의적 정의)을 가진다.
• 많은 해석가능성 제안들이 신중한 문제 정의나 이해관계자 필요 고려가 부족하다.
• 연구 인센티브(기술적 작업)와 설명이 무엇을 달성해야 하는지에 대한 기초적 질문 사이에 불일치가 있다.
• 정책 관점(예: GDPR, 알고리즘적 공정성)은 ML 연구에서 해석가능성 논의에서 과소대표되어 있다.
• 해석가능한 ML의 발전은 명시적 문제 정의, 타당성 분석, 외부 이해관계자의 더 큰 참여가 필요하다.