[논문 리뷰] How do Humans Understand Explanations from Machine Learning Systems? An Evaluation of the Human-Interpretability of Explanation

Menaka Narayanan, Emily Chen외 4명|arXiv (Cornell University)|2018. 02. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 42인용 수 97

한 줄 요약

이 논문은 두 도메인(레시피 및 임상)과 여러 복잡도 요인을 사용하여 의사결정 집합 설명의 어떤 속성이 인간의 입력에 대한 출력 확인 능력에 가장 큰 영향을 미치는지 실증적으로 조사한다.

ABSTRACT

Recent years have seen a boom in interest in machine learning systems that can provide a human-understandable rationale for their predictions or decisions. However, exactly what kinds of explanation are truly human-interpretable remains poorly understood. This work advances our understanding of what makes explanations interpretable in the specific context of verification. Suppose we have a machine learning system that predicts X, and we provide rationale for this prediction X. Given an input, an explanation, and an output, is the output consistent with the input and the supposed rationale? Via a series of user-studies, we identify what kinds of increases in complexity have the greatest effect on the time it takes for humans to verify the rationale, and which seem relatively insensitive.

연구 동기 및 목표

• 검증 작업에서 설명을 인간이 해석하기 쉽게 만드는 요소를 정량화한다.
• 의사결정 집합 설명의 어떤 요소가 검증 노력을 가장 많이 증가시키는지 식별한다.
• 도메인 맥락(레시피 대 임상)이 설명 처리에 영향을 미치는지 평가한다.
• ML 시스템에서 인간 친화적 설명을 설계하기 위한 지침을 제공한다.

제안 방법

• 의사결정 세트로 제시된 합성 설명 선택지를 사용한 통제된 사용자 연구를 수행한다.
• 줄 수와 출력 용어 길이를 변화시켜 설명의 크기를 조정한다.
• 새로운 인지 청크를 도입하고 명시적 대 암시적 청킹을 테스트한다.
• 검색 노력을 측정하기 위해 각 줄의 입력 용어 반복을 다양하게 한다.
• 두 개의 도메인(외계인 레시피 추천 및 외계인 의료 치료)에서 병렬 작업으로 테스트한다.
• 각 조건에 대해 반응 시간, 정확도, 주관적 만족도를 측정한다.

실험 결과

연구 질문

• RQ1 어떤 설명 속성(크기, 인지 청킹, 용어 반복)이 인간의 검증 수행에 가장 영향을 미치는가?
• RQ2 새로운 개념의 명시적 도입과 암시적 내재화가 처리 시간과 만족도에 영향을 미치는가?
• RQ3 설명 복잡성의 효과가 서로 다른 도메인(레시피 대 임상)에서 일관적인가?
• RQ4 설명 복잡성 요소가 정확도와 주관적 신뢰에 어떤 영향을 미치는가?

주요 결과

• 설명 복잡성이 증가하면 일반적으로 반응 시간이 증가하고 만족도가 낮아진다.
• 줄 수와 출력 절의 길이가 처리 시간을 가장 크게 증가시킨다.
• 새로운 인지 청크를 도입하는(명시적) 경우가 암시적으로 개념을 내재화하는 경우보다 처리 시간을 더 증가시키는 경향이 있으며, 만족도를 낮출 수 있다.
• 반복 용어는 줄 추가나 새로운 개념 추가에 비해 반응 시간과 만족도에 미치는 영향이 더 미미하다.
• 정확도는 설명 복잡성의 변화에 비교적 강건하고, 처리 비용은 주로 반응 시간과 만족도로 이동한다.
• 결과는 레시피 도메인과 임상 도메인에서 폭넓게 일관되며, 설명 설계를 위한 일반화 가능한 원리를 시사한다.