[論文レビュー] "I had a solid theory before but it's falling apart": Polarizing Effects of Algorithmic Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|Nov 6, 2018

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本稿は、アルゴリズムの透明性がAIシステムにおけるユーザーの信頼に与える影響を調査し、パラドックスを明らかにしている：透明性は、ユーザーが事前にシステムのメンタルモデルを持っているかどうかに応じて、ユーザーの認識を両極端に分けることがある。研究では、事前に理論を持っているユーザーは透明性によって欠陥に注目し、信頼を低下させる一方、そのようなモデルを持たないユーザーは明確さの向上により恩恵を受けることが示された。

ABSTRACT

The rise of machine learning has brought closer scrutiny to intelligent systems, leading to calls for greater transparency and explainable algorithms. We explore the effects of transparency on user perceptions of a working intelligent system for emotion detection. In exploratory Study 1, we observed paradoxical effects of transparency which improves perceptions of system accuracy for some participants while reducing accuracy perceptions for others. In Study 2, we test this observation using mixed methods, showing that the apparent transparency paradox can be explained by a mismatch between participant expectations and system predictions. We qualitatively examine this process, indicating that transparency can undermine user confidence by causing users to fixate on flaws when they already have a model of system operation. In contrast transparency helps if users lack such a model. Finally, we revisit the notion of transparency and suggest design considerations for building safe and successful machine learning systems based on our insights.

研究の動機と目的

• アルゴリズムの透明性がAIシステムの正確性に関するユーザーの認識に与える心理的影響を検討すること。
• 透明性がなぜ機械学習システムにおけるユーザーの信頼を向上させることも、逆に損なうこともあるかを調査すること。
• ユーザーの事前のメンタルモデルが、システムの説明に対する反応をどのように形作るかを特定すること。
• 透明性がユーザーの信頼を高めるか、逆に損なうかの条件を明らかにすること。
• ユーザーの認知と期待に基づき、信頼性があり効果的な機械学習システムの設計原理を示すこと。

提案手法

• 感情検出システムにおける透明性の反応を観察するための探索的 Study 1 を実施した。
• Study 2 では混合手法を採用し、定性的インタビューと定量的認識評価を統合した。
• ユーザーの期待とシステムの予測との不一致が、認識の変化を引き起こす主な要因であると特定した。
• 定性的コード化を用いて、ユーザーが透明性をどのように解釈し、反応するかを分析し、特に欠陥への注目に焦点を当てた。
• システム運用に関する事前のメンタルモデルを持つ・持たないユーザーの行動を対比した。
• 認知的視点から透明性の概念を再評価し、ユーザーのメンタルモデルを重要な変数として強調した。

実験結果

リサーチクエスチョン

• RQ1 AIシステムの意思決定プロセスに関する透明性を提供することで、ユーザーがそのシステムの正確性をどの程度高く評価するようになるか？
• RQ2 より多くの情報を提供しているにもかかわらず、なぜ透明性が時にユーザーの信頼を低下させるのか？
• RQ3 ユーザーがシステム行動について事前に持っているメンタルモデルは、透明性への反応にどのような役割を果たすか？
• RQ4 どのような条件下で透明性がユーザーの信頼を高め、逆に損なうのか？
• RQ5 透明性をどのように設計すれば、両極端な影響を最小限に抑え、機械学習システムにおける信頼を向上させられるか？

主な発見

• 透明性は逆説的な結果をもたらした：一部のユーザーはシステムをより正確に感じた一方、他のユーザーはより不正確に感じた。
• 事前にシステムのメンタルモデルを持っていたユーザーは、透明性が提示された際、欠陥に注目しやすくなり、信頼が低下した。
• 事前のメンタルモデルを持たないユーザーは、透明性のおかげで期待が明確になり、信頼感が向上した。
• ユーザーの期待とシステムの予測との不一致が、透明性に対する否定的反応の主な要因であった。
• 透明性によって欠陥や制限が可視化されると、ユーザーがそれらに注目するようになり、信頼が損なわれる場合がある。
• 本研究は、透明性が万能ではなく、ユーザーの認知状態とメンタルモデルに応じてカスタマイズされるべきであると示唆している。