[論文レビュー] Dice in the Black Box: User Experiences with an Inscrutable Algorithm

Aaron Springer, Victoria Hollis+1 more|arXiv (Cornell University)|Dec 7, 2018

Ethics and Social Impacts of AI被引用数 26

ひとこと要約

本研究では、ユーザーがブラックボックス型アルゴリズムに対して誤った信頼を抱くメカニズムを解明するために、ユーザーの入力に対してランダムに反応する偽の感情分析ツールを導入した。システムが完全にランダムであるにもかかわらず、参加者たちは頻繁に知能や信頼性をそのシステムに帰属させた。これは、知能を模倣するが透明性に欠けるシステムが人間とAIのインタラクションに深刻なリスクをもたらす可能性を示しており、過剰な信頼を是正するためのデザイン介入の必要性を示唆している。

ABSTRACT

We demonstrate that users may be prone to place an inordinate amount of trust in black box algorithms that are framed as intelligent. We deploy an algorithm that purportedly assesses the positivity and negativity of a users' writing emotional writing. In actuality, the algorithm responds in a random fashion. We qualitatively examine the paths to trust that users followed while testing the system. In light of the ease with which users may trust systems exhibiting "intelligent behavior" we recommend corrective approaches.

研究の動機と目的

• 知能に見えるが実際には理解不能なアルゴリズム的システムに対してユーザーがどのように信頼を形成するかを調査すること。
• 実際の知能を提供しないにもかかわらずブラックボックス型AIに対して過剰に信頼する心理的メカニズムを解明すること。
• 知能を模倣するがランダムな応答を返すシステムと対話する際のユーザー行動および推論のパターンを特定すること。
• 誤った自信の根源を理解することで、実世界のAIアプリケーションにおける過剰信頼を是正する設計実践を支援すること。

提案手法

• ユーザーのテキスト入力に対してポジティブ／ネガティブスコアをランダムに割り当てる偽の感情分析アルゴリズムを導入した。
• ユーザーは、文章の感情的トーンを検出できる洗練されたAIであると信じ込ませた。
• 信頼の形成過程を追跡するために、ユーザーの対話記録、書かれた反芻、行動ログの定性的分析を実施した。
• システムの機能を意図的に無効にすることで、ユーザーがランダムな出力に対してどれほど簡単に知能を帰属させるかを明らかにした。
• 制御された対話セッションを通じてユーザー体験を収集し、推論および知能の帰属に関するパターンを分析した。
• 欺瞞パラダイムを用いて、実際のアルゴリズム性能とは独立して、知的に見えるという認識がユーザーの信頼に与える影響を分離して分析した。

実験結果

リサーチクエスチョン

• RQ1 一貫性や正確性のない応答を提供するシステムに対して、ユーザーはどのようにしてその信頼を正当化するのか？
• RQ2 ランダムなシステムを知能的・信頼性があると感じるためのどのような手がかりが存在するのか？
• RQ3 システムの行動に一貫性のない点が生じた際、ユーザーはどのようにしてそれらを説明・正当化するのか？
• RQ4 実際には非機能的なシステムに対して、ユーザーがどれほどまでに意図的または自発的に「能動性」や「知能」を帰属させるのか？
• RQ5 理解不能なアルゴリズムに対する信頼形成の背後にある心理的・認知的メカニズムは何か？

主な発見

• システムの応答が完全にランダムであるにもかかわらず、ユーザーは頻繁に知能と一貫性をそのシステムに帰属させた。これは、アルゴリズムの出力に対して人間化する傾向が強いことを示している。
• 参加者たちはしばしばランダムな結果を意味のあるものと解釈し、自分の感情状態に対する「洞察」があると説明する物語を構築した。
• システムが一貫性や関連性のないフィードバックを提供しても、ユーザーは依然として信頼を示し続けた。これは、知的に見えるシステムに対して、信頼を失うまでの閾値が非常に高いことを示唆している。
• 知能の認識は、応答速度、フォーマット、技術的用語の使用といった表面的な手がかりに基づくことが多かった。
• ユーザーは、自らの自己評価や期待と矛盾する場合でも、システムの出力を正当なものとして受け入れる傾向を示した。
• 本研究は、AIにおける信頼は正確性に依存するのではなく、知能の「外見」に依存することが明らかになった。これは、実世界のAI導入において深刻なリスクを示唆している。