[論文レビュー] A Comparative Analysis of Industry Human-AI Interaction Guidelines

Austin P. Wright, Zijie J. Wang+7 more|arXiv (Cornell University)|Oct 22, 2020

Human-Automation Interaction and Safety参考文献 10被引用数 15

ひとこと要約

本論文は、アップル、グーグル、マイクロソフトのヒューマン-AIインタラクションガイドラインを統合した分類体系を提示し、設計原則における強調の違いを比較している。190件以上のガイドラインを分析した結果、マイクロソフトのメンタルモデルへの注力、グーグルのモデル中心の取り組み、アップルのシームレスなユーザーエクスペリエンスへの重視といった、組織の優先順位の違いが明らかになった。同時に、https://ai-open-guidelines.readthedocs.io/ で公開されている、コミュニティが拡張可能なフレームワークも提供している。

ABSTRACT

With the recent release of AI interaction guidelines from Apple, Google, and Microsoft, there is clearly interest in understanding the best practices in human-AI interaction. However, industry standards are not determined by a single company, but rather by the synthesis of knowledge from the whole community. We have surveyed all of the design guidelines from each of these major companies and developed a single, unified structure of guidelines, giving developers a centralized reference. We have then used this framework to compare each of the surveyed companies to find differences in areas of emphasis. Finally, we encourage people to contribute additional guidelines from other companies, academia, or individuals, to provide an open and extensible reference of AI design guidelines at https://ai-open-guidelines.readthedocs.io/.

研究の動機と目的

• 主なテック企業のヒューマン-AIインタラクションガイドラインを統合・比較し、業界基準の断片化を解消すること。
• 特許権の構造を超えて、包括的かつ拡張可能なAIデザインガイドラインの分類体系を構築すること。
• 企業間の強調の違いを特定し、組織文化や開発手法がガイドラインの優先順位にどのように影響を与えるかを明らかにすること。
• AI開発者、研究者、実務家が利用できる集中型でコミュニティ主導のリファレンスを提供すること。
• 学術界、業界、個人からの貢献を促進し、ガイドラインフレームワークの拡張と持続可能性を高めること。

提案手法

• アップル、グーグル、マイクロソフトが公開したヒューマン-AIインタラクションガイドラインを包括的に調査した。
• アフィニティ図法とテーマクラスタリングを用いて、すべてのガイドラインを1つの統一的で階層的な構造にマッピングした。
• インターフェース、データ、メンタルモデル、説明可能性、エラー処理の5つの主要ドメインに分け、12のコアサブカテゴリに分類した。
• 各サブカテゴリにおけるガイドライン頻度を数えて、各社の強調の相対的優先度を定量化した。
• 学術的なHCI文献との比較によるフレームワークの妥当性を検証し、ギャップや重複を同定した。
• コミュニティによる貢献を促すために、結果として得られたオープンで拡張可能なガイドラインリポジトリを https://ai-open-guidelines.readthedocs.io/ でホスティングした。

実験結果

リサーチクエスチョン

• RQ1 アップル、グーグル、マイクロソフトの設計ガイドラインは、ヒューマン-AIインタラクションの主な原則において、どのように強調の違いを示しているか？
• RQ2 各社のガイドラインの開発と焦点に影響を与える背後にある開発手法や組織的価値観は何か？
• RQ3 業界のガイドラインは、学術的なHCI研究や確立されたベストプラクティスとどの程度一致しているか、あるいは乖離しているか？
• RQ4 断片化した業界ガイドラインを統合するための、統一的でコミュニティが拡張可能な分類体系を構築できるか？
• RQ5 オープンで協働的なキュレーションは、AIインタラクション基準の長期的持続可能性と関連性をどのように向上させられるか？

主な発見

• マイクロソフトのガイドラインは、メンタルモデルに最も重点を置いており、その約40％がこのカテゴリに集中している。
• グーグルのガイドラインは、モデル関連の側面に最も集中しており、これはエンジニアリング志向でモデル中心の開発アプローチを反映している。
• アップルのガイドラインは、エラー防止、キャリブレーション、自信、複数の選択肢といったユーザーエクスペリエンス要因に強く注力しており、デザイン志向の文化を反映している。
• 構造や強調の違いはあったが、インターフェース設計、説明可能性、フィードバックメカニズムの分野では、3社とも共通の原則を共有しており、共通認識の形成が進んでいることが示された。
• 統一された分類体系は190件以上のガイドラインを効果的に捉え、どの会社のガイドラインもすべてのガイドラインカテゴリを完全にカバーしていないことが判明した。これは、統合の必要性を示している。
• 研究では、組織文化や開発手法がガイドラインの優先順位に顕著に影響を与えることが示された。学術的、工学的、デザイン志向のアプローチは、それぞれ異なる強調の特徴を示した。