[논문 리뷰] Towards A Rigorous Science of Interpretable Machine Learning

Finale Doshi‐Velez, Been Kim|arXiv (Cornell University)|2017. 02. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 3,111

한 줄 요약

형식적인 프레임워크와 ML의 해석가능성 평가를 위한 분류체계를 제시하고, 응용, 인간 연구, 대리 지표를 연결하며, 남은 문제와 연구 의제를 개략적으로 제시한다.

ABSTRACT

As machine learning systems become ubiquitous, there has been a surge of interest in interpretable machine learning: systems that provide explanation for their outputs. These explanations are often used to qualitatively assess other criteria such as safety or non-discrimination. However, despite the interest in interpretability, there is very little consensus on what interpretable machine learning is and how it should be measured. In this position paper, we first define interpretability and describe when interpretability is needed (and when it is not). Next, we suggest a taxonomy for rigorous evaluation and expose open questions towards a more rigorous science of interpretable machine learning.

연구 동기 및 목표

• ML에서의 해석가능성을 정의하고 이를 신뢰성이나 공정성과 같은 관련 기준과 구분한다.
• 해석가능성의 엄격하고 근거 기반의 평가 필요성을 주장한다.
• 해석가능성 평가를 위한 분류체계: 응용-근거, 인간-근거, 기능-근거를 제시한다.
• 해석가능성의 잠재 차원을 발견하기 위한 개방된 문제와 데이터 기반 접근법을 개략한다.
• 연구자들이 해석가능성 연구를 보고하고 프레이밍하는 방법에 대한 권고를 제공한다.

제안 방법

• 해석가능성을 인간에게 이해할 수 있는 용어로 설명하거나 제시할 수 있는 능력으로 정의한다.
• 평가의 세 가지 계층 분류를 도입한다: 응용-근거, 인간-근거, 그리고 기능-근거.
• 해석가능성에 대한 인간 피험자 실험의 trade-offs와 설계 고려사항을 논의한다.
• 작업-방법 매트릭스 및 행렬 분해 아이디어를 포함하여 해석가능성의 잠재 요인을 발견하는 데이터 기반 접근법을 제안한다.
• 해석가능성의 작업 관련 및 방법 관련 잠재 차원에 대한 가설을 제시한다.
• 주장을 적절한 평가 유형에 매칭하기 위한 모범 사례를 개요를 제시한다.

실험 결과

연구 질문

• RQ1 ML에서 해석가능성의 엄격하고 근거 기반 평가가 무엇인지?
• RQ2 평가를 주장과 일치시키기 위해 해석가능성을 어떻게 분류해야 하는가(응용 특정 대 일반)?
• RQ3 작업과 방법 전반에서 해석가능성을 가장 잘 포착하는 프록시나 요인은 무엇인가?
• RQ4 응용-근거, 인간-근거, 기능-근거 평가를 어떻게 연결할 수 있는가?
• RQ5 해석가능성 연구를 위한 공유 언어와 저장소를 구축하기 위해 해결해야 할 열린 문제는 무엇인가?

주요 결과

• 해석가능성은 하나의 보편적으로 합의된 정의가 없으며 의미 있는 비교를 가능하게 하려면 형식화가 필요하다.
• 평가 접근법의 분류체계(응용-근거, 인간-근거, 기능-근거)가 제안되어 평가를 주장 유형에 맞추도록 조정한다.
• 인간 평가가 필수적이지만 도전적이며, 서로 다른 평가 유형은 비용과 편향이 다르다.
• 데이터 기반 접근법(예: 작업-방법 매트릭스 및 임베딩)이 해석가능성의 잠재 차원을 발견하고 방법 선택을 안내할 수 있다.
• 세 가지 열린 문제를 식별한다: 적절한 프록시 선택, 끝-task의 본질을 보존하는 더 단순한 작업 설계, 설명 품질의 프록시를 특성화하는 것.
• 이 논문은 해석가능성 연구를 공통 분류체계에 기반으로 뿌리 내리고 모호한 주장들을 피하기 위한 실용적 권고를 제공한다.