[논문 리뷰] Interpretable to Whom? A Role-based Model for Analyzing Interpretable Machine Learning Systems

Richard Tomsett, Dave Braines외 3명|ORCA Online Research @Cardiff (Cardiff University)|2018. 06. 20.

Explainable Artificial Intelligence (XAI)참고 문헌 19인용 수 84

한 줄 요약

이 논문은 기계 학습 시스템의 해석 가능성을 분석하기 위해 서로 다른 에이전트 역할을 식별하고 이러한 역할이 해석 가능성 목표를 어떻게 형성하는지 조사하는 역할 기반 모델을 제안한다.

ABSTRACT

Several researchers have argued that a machine learning system's interpretability should be defined in relation to a specific agent or task: we should not ask if the system is interpretable, but to whom is it interpretable. We describe a model intended to help answer this question, by identifying different roles that agents can fulfill in relation to the machine learning system. We illustrate the use of our model in a variety of scenarios, exploring how an agent's role influences its goals, and the implications for defining interpretability. Finally, we make suggestions for how our model could be useful to interpretability researchers, system developers, and regulatory bodies auditing machine learning systems.

연구 동기 및 목표

• 해석 가능성이 보편적 속성이 아니라 특정 에이전트나 작업에 상대적임을 제시한다.
• ML 시스템과 관련된 에이전트 역할을 식별하기 위한 역할 기반 모델을 소개한다.
• 에이전트의 역할이 해석 가능성 목표와 요구사항을 어떻게 형성하는지 설명한다.
• 연구자, 시스템 개발자 및 ML 시스템의 규제 감사에 대한 시사점을 논의한다.

제안 방법

• ML 시스템과 상호 작용하는 에이전을 분류하기 위한 역할 기반 프레임워크를 정의한다.
• 에이전트의 역할이 해석 가능성 목표에 어떤 영향을 주는지 보여주기 위해 시나리오를 분석한다.
• 다양한 이해관계자 역할에 걸쳐 해석 가능성을 정의하는 데 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 해석 가능성과 관련하여 ML 시스템과 상호 작용하는 에이전트 역할은 무엇인가?
• RQ2 다양한 에이전트 역할이 해석 가능성 목표와 평가에 어떤 영향을 주는가?
• RQ3 해석 가능한 ML의 연구, 개발 및 규제에 대한 더 넓은 시사점은 무엇인가?

주요 결과

• 역할 기반 관점은 해석 가능성이 단일 속성이 아니라 에이전트와 맥락에 의존한다는 것을 설명하는 데 도움이 된다.
• 사례 시나리오는 에이전트의 목표가 해석 가능하다고 간주되는 것을 어떻게 바꾸는지 보여준다.
• 이 모델은 이해관계자 전반에 걸친 해석 가능성의 정의, 평가 및 감사 방식에 영향을 미친다.
• 저자들은 모델이 해석 가능성 연구자, 시스템 개발자 및 규제 기관에 어떻게 유용할 수 있는지에 대한 지침을 제공한다.