[論文レビュー] Interpretable to Whom? A Role-based Model for Analyzing Interpretable Machine Learning Systems

Richard Tomsett, Dave Braines+3 more|ORCA Online Research @Cardiff (Cardiff University)|Jun 20, 2018

Explainable Artificial Intelligence (XAI)参考文献 19被引用数 84

ひとこと要約

この論文は、さまざまなエージェントの役割を特定し、それらの役割が解釈可能性の目標を形作る方法を検討することで、機械学習システムの解釈可能性を分析する役割ベースのモデルを提案します。

ABSTRACT

Several researchers have argued that a machine learning system's interpretability should be defined in relation to a specific agent or task: we should not ask if the system is interpretable, but to whom is it interpretable. We describe a model intended to help answer this question, by identifying different roles that agents can fulfill in relation to the machine learning system. We illustrate the use of our model in a variety of scenarios, exploring how an agent's role influences its goals, and the implications for defining interpretability. Finally, we make suggestions for how our model could be useful to interpretability researchers, system developers, and regulatory bodies auditing machine learning systems.

研究の動機と目的

• 解釈可能性は普遍的な性質ではなく、特定のエージェントやタスクに対して相対的であることを動機づける。
• MLシステムに関連するエージェントの役割を特定するための役割ベースのモデルを導入する。
• エージェントの役割が解釈可能性の目標と要件をどのように形作るかを illustratingする。
• 研究者、システム開発者、MLシステムの規制監査に対する含意を論じる。

提案手法

• MLシステムと相互作用するエージェントを分類する役割ベースのフレームワークを定義する。
• エージェントの役割が解釈可能性の Objective にどう影響するかを示すシナリオを分析する。
• 異なるステークホルダーの役割にわたって解釈可能性を定義する際の含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性に関連するMLシステムと相互作用するエージェントの役割は何か？
• RQ2 異なるエージェントの役割は解釈可能性の目標と評価にどのように影響するのか？
• RQ3 解釈可能なMLの研究開発と規制におけるより広い含意は何か？

主な発見

• 役割ベースの視点は、解釈可能性が単一の性質ではなく、エージェントと文脈に依存することを説明するのに役立つ。
• 例示的なシナリオは、エージェントの目標が何を解釈可能とみなすかを変えることを示す。
• このモデルは、解釈可能性をどのように定義、評価、監査するかをステークホルダー間で考える際の含意を持つ。
• 著者らは、解釈可能性研究者、システム開発者、規制機関にとってこのモデルがどのように有用になり得るかについて指針を提供する。