[논문 리뷰] Techniques for Interpretable Machine Learning

Mengnan Du, Ninghao Liu외 1명|arXiv (Cornell University)|2018. 07. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 28

한 줄 요약

이 논문은 해석 가능한 기계학습 기법에 대한 종합적인 서베이를 제공하며, 모델 자체가 설명 가능한 내재적 해석성(intrinsic interpretability)과 기존 모델에 대한 설명을 제공하는 사후 해석성(post-hoc interpretability)으로 분류한다. 특히 전역(global) 및 국소(local) 해석성에 초점을 맞추고 있으며, 사용자 友好的한 패러다임으로 대비적, 선택적, 신뢰성 있는 설명을 도입하고, 인간 중심의 해석성 발전을 위해 다학제적 협업을 촉구한다.

ABSTRACT

Interpretable machine learning tackles the important problem that humans cannot understand the behaviors of complex machine learning models and how these models arrive at a particular decision. Although many approaches have been proposed, a comprehensive understanding of the achievements and challenges is still lacking. We provide a survey covering existing techniques to increase the interpretability of machine learning models. We also discuss crucial issues that the community should consider in future work such as designing user-friendly explanations and developing comprehensive evaluation metrics to further push forward the area of interpretable machine learning.

연구 동기 및 목표

• 기계학습에서 모델의 해석성 향상을 위한 기존 기법들을 체계적으로 개관하는 것.
• 해석성 기법이 정확도, 충실도(fidelity), 사용자 신뢰를 균형 있게 조절하는 방식을 이해하는 데 있어 핵심적인 격차를 메우는 것.
• 충실도, 신뢰성, 사용자 중심 설계 등 설명 품질의 주요 과제를 특정화하는 것.
• 기계학습, HCI, 사회과학 분야 간 협업을 통해 사용자 友好的한 설명을 개발할 것을 주장하는 것.
• 실제 적용에 초점을 맞춘 대비적, 선택적, 신뢰성 있는 설명을 위한 향후 연구 방향을 제안하는 것.

제안 방법

• 해석 가능한 기계학습을 내재적 해석성(예: 결정 트리, 선형 모델, 어텐션 메커니즘)과 사후 해석성(예: LIME, SHAP)으로 분류한다.
• 모델 전반의 이해를 위한 전역 해석성(global interpretability)과 개별 예측 설명을 위한 국소 해석성(local interpretability)을 구분한다.
• 예측 결과를 대조적 또는 대체 사례와 비교함으로써 대비적 설명을 제안한다(예: '왜 승인되지 않았나요?'). 특성 기여도 비교를 통해 수행된다.
• 가장 영향력 있는 특성들만 강조하는 선택적 설명을 도입한다(예: 대출 거절의 주요 2가지 원인). 이는 명확성과 관련성을 향상시킨다.
• 도메인 지식과 일치하고 기이하거나 비현실적인 원인을 피하는 신뢰성 있는 설명의 중요성을 강조한다.
• 비전공자에게 적합한 구두 형식 등 사용자 맥락에 맞춘 대화형 설명을 제안하여 이해도와 신뢰도를 향상시킨다.

실험 결과

연구 질문

• RQ1 해석성 유형과 시기별로 기존의 해석 가능한 기계학습 기법을 체계적으로 분류할 수 있는가?
• RQ2 내재적 해석성과 사후 해석성 간에 정확도와 설명 충실도 사이의 상충 관계는 어떠한가?
• RQ3 대비적 설명은 어떻게 사용자가 결과 비교(예: '왜 승인되지 않았나요?')를 통해 결론을 이해하는 데 기여하는가?
• RQ4 사용자에게 더 친화적이고, 신뢰성 있으며, 실행 가능한 설명을 만드는 설계 원칙은 무엇인가?
• RQ5 다학제적 협업이 실생활 응용에서 인간 중심의 해석성 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 결정 트리, 선형 모델, 어텐션 메커니즘과 같은 내재적 해석성 기법은 본질적으로 설명 가능한 구조를 제공하지만, 예측 성능에 손실를 끼칠 수 있다.
• LIME와 SHAP와 같은 사후 방법은 원본 모델을 변경하지 않고 충실한 국소 설명을 제공하지만, 근사적이고 국소 대체 모델에 의존한다.
• 대비적 설명(예: 'Q가 아니라 R이었는가?')은 예측 결과와 반대 조건 사례 간의 특성 기여도 비교를 통해 생성되며, 결정 경계의 이해를 향상시킨다.
• 가장 영향력 있는 특성들만 강조하는 선택적 설명(예: 대출 거절의 주요 2가지 원인)은 명확성을 높이고 인지 부담을 감소시킨다.
• 도메인 지식과 일치할 경우(예: 결혼 상태보다 신용 기록과 소득 비율), 더 신뢰할 수 있는 설명이 되어 사용자의 회의감을 줄인다.
• 사용자 友好的한 설명은 사회적 맥락과 커뮤니케이션 형식(예: 구두 대비 텍스트)을 고려해야 하며, 설명 제공에 대화형 AI 접근 방식의 필요성을 시사한다.