[論文レビュー] Explainable AI: Beware of Inmates Running the Asylum Or: How I Learnt to Stop Worrying and Love the Social and Behavioural Sciences

Tim Miller, Piers D. L. Howe+1 more|arXiv (Cornell University)|Dec 2, 2017

Explainable Artificial Intelligence (XAI)参考文献 25被引用数 209

ひとこと要約

本論文は、説明可能なAIがしばしば研究者自身のニーズを反映し、エンドユーザーのニーズではないことが多いと主張し、XAIを社会科学・行動科学の研究に基づいた人間中心の評価と結びつけることを提案している。関連研究を調査し、説明が社会的で対比的であり、人間を介した検証が必要であることを強調している。

ABSTRACT

In his seminal book `The Inmates are Running the Asylum: Why High-Tech Products Drive Us Crazy And How To Restore The Sanity' [2004, Sams Indianapolis, IN, USA], Alan Cooper argues that a major reason why software is often poorly designed (from a user perspective) is that programmers are in charge of design decisions, rather than interaction designers. As a result, programmers design software for themselves, rather than for their target audience, a phenomenon he refers to as the `inmates running the asylum'. This paper argues that explainable AI risks a similar fate. While the re-emergence of explainable AI is positive, this paper argues most of us as AI researchers are building explanatory agents for ourselves, rather than for the intended users. But explainable AI is more likely to succeed if researchers and practitioners understand, adopt, implement, and improve models from the vast and valuable bodies of research in philosophy, psychology, and cognitive science, and if evaluation of these models is focused more on people than on technology. From a light scan of literature, we demonstrate that there is considerable scope to infuse more results from the social and behavioural sciences into explainable AI, and present some key results from these fields that are relevant to explainable AI.

研究の動機と目的

• 説明可能なAIがユーザーのニーズよりも研究者の視点に左右されるリスクがあることを主張する。
• 社会科学と人間要因がXAI研究文献で過小評価されていることを示す。
• XAIに哲学・心理学・認知科学の説明モデルを組み込むことを提唱する。
• 人間の行動研究のデータを用いて説明を評価することを奨励する。

提案手法

• 社会科学の説明に関する露出を評価するため、IJCAI 2017 XAIワークショップ Related Workリストの23件の記事を軽量に調査する。
• 論文をトピック別（on-topic vs off-topic）およびデータ駆動・検証基準別に、社会科学の参照と人間行動データに基づいて分類する。
• 説明に関連する社会科学文献の主要アイデア（対比的説明、帰因論、説明選択、評価、対話的性質）を要約する。
• 社会科学の洞察をXAIモデル設計と評価に統合する際のギャップと潜在的影響点を特定する。

実験結果

リサーチクエスチョン

• RQ1 XAI論文は説明の社会科学理論をどの程度まで取り入れているのか。
• RQ2 説明を検証するために人間の行動実験がXAI文献でどのくらい頻繁に用いられているか。
• RQ3 対比的説明、帰因、説明選択といった社会科学の概念がXAIモデルにどのように役立つか。
• RQ4 XAIを人間中心の評価基準に合わせるために研究者が取り得る実践的な手順は何か。

主な発見

• 多くのXAI論文は社会科学や人間要因からの影響をほとんど受けておらず、社会科学の説明を参照している論文はごく一部で、さらに少数が人間の行動データに基づいて研究を地固めしている。
• 説明を評価する際の人間の行動実験は、調査対象の文献では稀である。
• 対比的説明、帰因理論、説明選択は、AIの説明設計と評価に有用な指針を提供する。
• 説明はモデルの内部構造の静的な開示としてではなく、対話的な会話として扱われるべきである。
• 本論は社会/行動科学者との協働を高め、人間の行動データに基づく評価を導入することを主張し、DARPAの人間を介したループの強調と一致する。