[論文レビュー] fAIlureNotes: Supporting Designers in Understanding the Limits of AI Models for Computer Vision Tasks

Steven A. Moore, Q. Vera Liao+1 more|arXiv (Cornell University)|Feb 22, 2023

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

fAIlureNotes は、ユーザーリサーチ、シナリオベースのテスト、AIの故障モード分類を統合することで、UX実践者が事前学習済みコンピュータビジョンモデルの失敗を能動的に探索・分析できるデザイナー中心のツールです。fAIlureNotes は、インタラクティブモデルカードよりも、文脈に特化した故障パターンを特定し、モデルエラーに対処するための実行可能なUXデザインの検討を導く点で優れています。

ABSTRACT

To design with AI models, user experience (UX) designers must assess the fit between the model and user needs. Based on user research, they need to contextualize the model's behavior and potential failures within their product-specific data instances and user scenarios. However, our formative interviews with ten UX professionals revealed that such a proactive discovery of model limitations is challenging and time-intensive. Furthermore, designers often lack technical knowledge of AI and accessible exploration tools, which challenges their understanding of model capabilities and limitations. In this work, we introduced a failure-driven design approach to AI, a workflow that encourages designers to explore model behavior and failure patterns early in the design process. The implementation of fAIlureNotes, a designer-centered failure exploration and analysis tool, supports designers in evaluating models and identifying failures across diverse user groups and scenarios. Our evaluation with UX practitioners shows that fAIlureNotes outperforms today's interactive model cards in assessing context-specific model performance.

研究の動機と目的

• 技術的知識やアクセス可能なツールの不足により、UXデザイナーがAIモデルの限界を理解する課題に対処すること。
• ユーザーリサーチとAIモデル評価を統合した、能動的で故障駆動の設計プロセスを支援すること。
• 多様なユーザーグループやシナリオにおいて、モデルの失敗を特定・文脈化できるようにすること。
• 文脈に特化した故障パターンを明らかにすることで、実世界の応用における事前学習済みAIモデルの使いやすさを向上させること。
• デザイナーとエンジニアが共同でモデルの信頼性を評価できる共通のフレームワークとツールを提供することで、UX-AIのギャップを埋めること。

提案手法

• fAIlureNotes は、ユーザーパーソナと現実世界のシナリオを、事前学習済みコンピュータビジョンモデルのテストを支援するガイド付きワークフローに統合しています。
• デザイナーは特定の入力画像について想定されるモデルの挙動をアノテートし、実際のモデル出力と照合することで不一致を検出します。
• ツールは検出された不一致を、誤分類、偽陽性、文脈への感受性など15の故障モードの分類体系に分類します。
• LLM生成の入力と合成データを活用して、多様なユーザーグループやエッジケースにわたる故障カバレッジを拡大します。
• 反復的な探索をサポートし、時間の経過とともにシナリオや故障パターンを改善できるようにします。
• fAIlureNotes は、10名のUXプロフェッショナルを対象とした研究を通じて評価され、Hugging Faceのインタラクティブモデルカードと比較されています。

Figure 1. Designerly understanding of AI model failures using fAIlureNotes: (a) The designer selects a user scenario based on their user research and (b) annotates the expected behavior of the AI model for an input image. Running the model for the image, (c) they compare differences in expected and

実験結果

リサーチクエスチョン

• RQ1 UXデザイナーは、文脈に特化したユーザーシナリオにおいて、事前学習済みコンピュータビジョンモデルの限界をどのように効果的に探索・理解できるでしょうか？
• RQ2 多様なユーザーグループや現実世界のユースケースでモデルをテストする際、どのような故障パターンが顕在化するでしょうか？
• RQ3 fAIlureNotes は、AIの故障に対処するための実行可能なUXデザインの検討をどのように支援するでしょうか？
• RQ4 fAIlureNotes は、文脈的モデルパフォーマンスを評価する点で、インタラクティブモデルカードのような既存のツールよりもどのように優れていますか？
• RQ5 故障駆動の設計ワークフローは、UXデザイナーとAIエンジニアの間の協働をどのように改善できるでしょうか？

主な発見

• fAIlureNotes は、ユーザーグループやシナリオにわたる故障パターンの集約を可能にし、Hugging Faceのインタラクティブモデルカードでは検出できなかったものを明らかにしました。
• 参加者たちは、fAIlureNotes がモデルの限界を具体化し、実行可能なものとして扱えるようにすることで、人間中心のAI（HAI）ガイドラインを実務に活かすのを支援したと報告しました。
• ツールは、コンピュータビジョンモデルにおける15の明確な故障モードの発見を支援しました。これには、文脈依存の誤分類や、照明や言語への感受性が含まれます。
• デザイナーは、ユーザーへの警告、フェイルセーフ機構、人間が関与するハンドオフ戦略など、故障回復のための具体的なデザインの検討を導き出せました。
• 評価結果から、fAIlureNotes を使用したデザイナーは、標準のモデルカードを使用した場合よりも、特定のユースケースにおけるモデルの適合性をはるかに効果的に評価できていることが示されました。
• 参加者たちは、シナリオベースで反復的な故障探索が、AIの挙動についてより深く、デザイナー的な理解を育てる価値があると強調しました。

Figure 2. Proactive and reactive approaches to designerly understanding of model limitations that participants discussed in the formative interview