[論文レビュー] Progressive Disclosure: Designing for Effective Transparency

Aaron Springer, Steve Whittaker|arXiv (Cornell University)|Nov 6, 2018

Ethics and Social Impacts of AI参考文献 72被引用数 9

ひとこと要約

本稿は、認知的負荷を軽減するために情報が段階的に明らかにされるプログレッシブディス closureを、知能システムにおける透明性のユーザ中心的アプローチとして提案する。2つの実証的研究を通じて、ユーザーは当初段階的なフィードバックを好むが、実際にはそれが気を散らせる・効果が低いと感じることが多く、シンプルで初期段階の透明性がより効果的であることが判明。これにより、初期のシステム相互作用においてユーザーのヒューリスティクスとエラーの隠蔽を重視する新しいデザイン原則が開発された。

ABSTRACT

As we increasingly delegate important decisions to intelligent systems, it is essential that users understand how algorithmic decisions are made. Prior work has often taken a technocentric approach to transparency. In contrast, we explore empirical user-centric methods to better understand user reactions to transparent systems. We assess user reactions to global and incremental feedback in two studies. In Study 1, users anticipated that the more transparent incremental system would perform better, but retracted this evaluation after experience with the system. Qualitative data suggest this may arise because incremental feedback is distracting and undermines simple heuristics users form about system operation. Study 2 explored these effects in depth, suggesting that users may benefit from initially simplified feedback that hides potential system errors and assists users in building working heuristics about system operation. We use these findings to motivate new progressive disclosure principles for transparency in intelligent systems.

研究の動機と目的

• 知能システムにおける異なる透明性メカニズム（特に段階的フィードバック対グローバルフィードバック）に対するユーザーの反応を調査すること。
• フィードバックが段階的に明らかにされる場合、透明性の利点が認識されているにもかかわらずユーザーがシステムを拒否する理由を理解すること。
• システムのフィードバックをユーザーのメンタルモデルやヒューリスティクスと一致させることで、効果的な透明性を支援するデザイン原則を特定すること。
• 初期相互作用中にシステムのエラーを隠すことで、ユーザーがシステム動作に関する安定した作業仮説を形成するのを助ける方法を検討すること。

提案手法

• グローバルフィードバック（すべての情報が最初に提示）と段階的フィードバック（情報が段階的に明らかに）という異なる透明性条件の下で、参加者が知能システムと相互作用する2つのユーザースタディを実施した。
• ユーザーのパフォーマンス指標、好みの評価、システムの使いやすさと信頼に関するオープンエンドの反応を含む、定量的および定性的データを収集した。
• 透明性が意思決定、システム信頼性の認識、メンタルモデル形成にどのように影響するかを特定するため、ユーザー行動とフィードバックを分析した。
• テーマ分析を用いて定性的な反応を解釈し、ユーザーが気を散らす、明確さ、システム意思決定に対する自信といった側面に焦点を当てた。
• 実証的発見に基づいて、情報提示のタイミングと順序を重視するプログレッシブディスクロージャーの原則のセットを構築した。
• ユーザーがシステム動作について初期の作業ヒューリスティクスを形成した後に、複雑な情報やエラー関連のフィードバックを延期するデザインフレームワークを提言した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの段階的透明性に対する期待と、実際の体験にはどのような違いがあるのか？
• RQ2 当初は好まれるにもかかわらず、ユーザーが段階的フィードバックに対して満足度を低下させるのはなぜか？
• RQ3 プログレッシブディスクロージャーは、ユーザーがシステム動作の正確なメンタルモデルを形成する能力にどの程度影響を与えるか？
• RQ4 エラーの提示タイミングは、ユーザーの信頼とシステムの使いやすさにどのように影響するか？
• RQ5 ユーザーに情報を過剰に与えず、透明性を向上させるためのデザイン戦略は何か？

主な発見

• ユーザーは当初、段階的フィードバックシステムのパフォーマンスがより良いと予想していたが、体験後はグローバルフィードバックシステムを好んだ。これは、期待と体験の間には不一致があることを示している。
• 段階的フィードバックは、ユーザーがシステム運用に関する単純なヒューリスティクスを形成するのを妨げるという、気を散らす要因であると感じられた。
• エラーを隠したシンプルで初期段階のフィードバックにより、ユーザーは複雑さに直面する前から安定したメンタルモデルを構築することができた。
• 繰り返しで細かくフィードバックが提示されたことで、技術的に正確な情報であっても、システムの信頼性が低下し、認知的負荷が増加した。
• 透明性を延期し、ヒューリスティクスの発展を支援する構造にすることで、ユーザーはより高い自信とより良いパフォーマンスを示した。
• これらの発見は、技術中心の透明性から、認知的負荷の軽減とメンタルモデル形成を重視するユーザ中心のディスクロージャー戦略へのシフトを支持する。