[논문 리뷰] Machine Learning Explainability for External Stakeholders

Umang Bhatt, McKane Andrus외 2명|arXiv (Cornell University)|2020. 07. 10.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 40

한 줄 요약

한 워크숍 기반 연구로 외부 이해관계자(최종 사용자, 규제당국, 도메인 전문가)에 대해 설명 가능한 ML을 활용하는 방법을 탐구하고 규모 확장에서 설명을 배치하는 데 남은 도전과제를 개략한다.

ABSTRACT

As machine learning is increasingly deployed in high-stakes contexts affecting people's livelihoods, there have been growing calls to open the black box and to make machine learning algorithms more explainable. Providing useful explanations requires careful consideration of the needs of stakeholders, including end-users, regulators, and domain experts. Despite this need, little work has been done to facilitate inter-stakeholder conversation around explainable machine learning. To help address this gap, we conducted a closed-door, day-long workshop between academics, industry experts, legal scholars, and policymakers to develop a shared language around explainability and to understand the current shortcomings of and potential solutions for deploying explainable machine learning in service of transparency goals. We also asked participants to share case studies in deploying explainable machine learning at scale. In this paper, we provide a short summary of various case studies of explainable machine learning, lessons from those studies, and discuss open challenges.

연구 동기 및 목표

• 왜 설명 가능성이 내부 모델 개발자 외의 외부 이해관계자까지 도달해야 하는지 명확히 한다.
• 최종 사용자, 규제당국, 도메인 전문가에게 설명을 배치하는 현재의 부족한 점을 평가한다.
• 도메인 특정 사용 사례와 이해관계자 요구를 요약하여 설명 가능성과 투명성 목표를 정렬한다.
• 설명 가능한 ML을 규모로 배치하는 데 남아 있는 도전과 잠재적 해결책을 식별한다.
• 설명 개발 및 배치를 개선하기 위한 학제 간 참여를 제안한다.

제안 방법

• academia, industry, policy, and legal backgrounds의 33명 참가자와 함께 비공개 종일 워크숍을 수행했다.
• 다섯 개 전문가 클러스터에 걸친 그룹 토론을 촉진하여 설명 가능성의 정의를 정렬했다.
• 금융, 의료, 미디어, 사회 서비스 분야의 도메인별 사용 사례를 분석했다.
• 참가자 정의의 설명 및 교훈을 요약한 사례 연구 및 남은 도전과제의 요약으로 종합했다.
• 설명 가능성에 대한 더 넓은 커뮤니티 참여와 교육의 필요성을 강조했다.

실험 결과

연구 질문

• RQ1 학제 간 토론에서 등장하는 설명 가능성의 정의와 개념은 무엇인가?
• RQ2 외부 이해관계자를 위해 설명 가능한 ML을 대규모로 배치하는 데 있어 주요 도전과 잠재적 해결책은 무엇인가?
• RQ3 설명은 어떻게 평가되어야 하며 맥락과 이해관계자 요구가 어떤 역할을 하는가?
• RQ4 이해관계자 다양성, 데이터 사용, 프라이버시 우려를 고려하도록 설명을 어떻게 설계할 수 있는가?
• RQ5 불확실성, 상호 작용성, 시간에 따라 변화하는 행동이 설명 가능한 ML 배치에서 어떤 역할을 하는가?

주요 결과

• 설명 가능성은 현재 내부 중심으로 남아 있으며 외부 이해관계자에게 널리 배포되지 않는다.
• 효과적인 배치를 위해서는 특정 이해관계자 및 사용 사례에 맞춘 맥락 인식 설명이 필요하다.
• 설명의 평가는 명확하지 않으며 학제 간의 인간 중심 방법으로부터 이익을 얻는다.
• 영향받는 커뮤니티를 참여시키고 이해관계자 교육은 실용적 채택에 필수적이다.
• 불확실성은 설명과 함께 고려되어야 하며 설명은 상호작용적이고 이해관계자 피드백에 적응할 수 있어야 한다.
• 시간이 지남에 따라 모델 행동 변화와 사용자 상호작용을 예측해야 하여 유용성 저하를 피해야 한다.