[논문 리뷰] Stakeholders in Explainable AI

Alun Preece, Daniel Harborne외 3명|ORCA Online Research @Cardiff (Cardiff University)|2018. 09. 29.

Adversarial Robustness in Machine Learning참고 문헌 30인용 수 43

한 줄 요약

본 논문은 설명가능한 AI가 서로 다른 의도와 요구를 가진 고유한 이해관계자 커뮤니티를 포함한다고 주장하고, 검증과 확인을 연결하는 계층적이고 이해관계자 인지된 설명 관점을 제안한다.

ABSTRACT

There is general consensus that it is important for artificial intelligence (AI) and machine learning systems to be explainable and/or interpretable. However, there is no general consensus over what is meant by 'explainable' and 'interpretable'. In this paper, we argue that this lack of consensus is due to there being several distinct stakeholder communities. We note that, while the concerns of the individual communities are broadly compatible, they are not identical, which gives rise to different intents and requirements for explainability/interpretability. We use the software engineering distinction between validation and verification, and the epistemological distinctions between knowns/unknowns, to tease apart the concerns of the stakeholder communities and highlight the areas where their foci overlap or diverge. It is not the purpose of the authors of this paper to 'take sides' - we count ourselves as members, to varying degrees, of multiple communities - but rather to help disambiguate what stakeholders mean when they ask 'Why?' of an AI.

연구 동기 및 목표

• 고유한 AI 설명가능성 이해관계자 커뮤니티와 그 동기를 식별한다.
• 개발자, 이론가, 윤리학자, 사용자가 설명가능성의 요구에서 어떻게 다른지 구별한다.
• 설명가능성을 소프트웨어 공학의 검증과 확인 개념과 관련지어진다.
• 여러 이해관계자를 만족시키기 위한 계층적이고 다중 모달(멀티-모달) 설명 모델을 제안한다.
• AI 윈터를 예방하기 위한 사용자 중심 설명의 중요성을 강조한다.

제안 방법

• 설명가능성 이해관계자를 네 가지 커뮤니티로 분류한다: 개발자, 이론가, 윤리학자, 사용자.
• 소프트웨어 공학의 개념(검증 vs. 확인)을 사용하여 설명 유형을 이해관계자 필요에 매핑한다.
• 투명성 기반(verification) 설명과 사후(post-hoc)(validation) 설명을 구분한다.
• 설명들이 다양한 정보 격차를 어떻게 다루는지 분석하기 위해 knowns/unknowns 인식론을 논의한다.
• 이해관계자 요구에 맞춘 계층적 설명 객체(traceability, justification, assurance)를 제안한다.
• 계층적 설명을 설명하기 위한 예시 야생동물 모니터링 시나리오를 제공한다.

실험 결과

연구 질문

• RQ1 설명가능한 AI의 명확한 이해관계자 커뮤니티와 그들의 주요 동인은 무엇인가?
• RQ2 검증과 확인 개념이 이해관계자 그룹 전반의 설명 유형에 어떻게 매핑되는가?
• RQ3 어떤 인식론적 범주들(knowns/unknowns)이 서로 다른 수신자에 대해 설명이 설계되어야 하는지를 어떻게 밝히는가?
• RQ4 계층적이고 다중 모달의 설명 프레임워크가 어떤 한 이해관계자도 과도하게 부담시키지 않으면서 여러 이해관계자를 만족시킬 수 있는가?
• RQ5 최종 사용자 관점은 다른 이해관계자에 비해 어떤 역할을 하며 설명가능한 AI 담론에서 차지하는 위치는 무엇인가?

주요 결과

• 설명가능한 AI에는 네 가지 이해관계자 커뮤니티가 있다: 개발자, 이론가, 윤리학자, 사용자로, 각각 설명에 대한 명확한 목표를 가진다.
• 개발자/이론가는 검증 및 투명성 기반 설명에 더 초점을 맞추는 반면, 사용者/윤리학자는 확인과 사후 설명을 강조한다.
• 계층적 설명 접근 방식(traceability, justification, assurance)은 정보를 적절히 구성함으로써 여러 이해관계자를 만족시킬 수 있다.
• 투명성 기반 설명은 비개발자/비윤리학자 수신자에게 불안정하거나 해석하기 어려운 경우가 많아 신중한 제시가 필요하다.
• 사후 설명은 예시 기반 및 텍스트 기반 설명을 포함하여 특히 사용자와 윤리학자에게 적합하지만, 근사치로 명확히 표시되어야 한다.
• 최종 사용자 관점은 중요하고 종종 대표되지 않지만 미래의 AI 채택에 좌절을 막기 위해 필수적이다.