[논문 리뷰] fAIlureNotes: Supporting Designers in Understanding the Limits of AI Models for Computer Vision Tasks

Steven A. Moore, Q. Vera Liao외 1명|arXiv (Cornell University)|2023. 02. 22.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

fAIlureNotes는 사용자 중심의 도구로, 사용자 연구, 시나리오 기반 테스트 및 AI 실패 유형 분류를 통합하여 사전 훈련된 컴퓨터 비전 모델의 실패를 사전에 탐색하고 분석할 수 있도록 돕는다. 이는 UX 디자이너가 맥락에 특화된 실패 패턴을 식별하고, 모델 오류를 처리하기 위한 실행 가능한 UX 설계 고려사항을 도출하는 데 있어 상호작용형 모델 카드를 능가한다.

ABSTRACT

To design with AI models, user experience (UX) designers must assess the fit between the model and user needs. Based on user research, they need to contextualize the model's behavior and potential failures within their product-specific data instances and user scenarios. However, our formative interviews with ten UX professionals revealed that such a proactive discovery of model limitations is challenging and time-intensive. Furthermore, designers often lack technical knowledge of AI and accessible exploration tools, which challenges their understanding of model capabilities and limitations. In this work, we introduced a failure-driven design approach to AI, a workflow that encourages designers to explore model behavior and failure patterns early in the design process. The implementation of fAIlureNotes, a designer-centered failure exploration and analysis tool, supports designers in evaluating models and identifying failures across diverse user groups and scenarios. Our evaluation with UX practitioners shows that fAIlureNotes outperforms today's interactive model cards in assessing context-specific model performance.

연구 동기 및 목표

• 기술적 지식 부족과 접근 가능한 도구의 부족으로 인해 UX 디자이너가 AI 모델의 한계를 이해하는 데 직면하는 과제를 해결하기 위해.
• 사용자 연구와 AI 모델 평가를 통합하는 사전적, 실패 중심의 설계 프로세스를 지원하기 위해.
• 다양한 사용자 집단과 시나리오에서 모델 실패를 식별하고 맥락화할 수 있도록 하기 위해.
• 맥락에 특화된 실패 패턴을 드러내어 실제 응용에서 사전 훈련된 AI 모델의 사용성을 향상시키기 위해.
• 디자이너와 엔지니어가 공동으로 모델 신뢰성을 평가할 수 있도록 공통의 프레임워크와 도구를 제공함으로써 UX-AI 격차를 메우기 위해.

제안 방법

• fAIlureNotes는 사용자 페르소나와 실제 세계 시나리오를 사전 훈련된 컴퓨터 비전 모델 테스트를 위한 가이드된 워크플로우에 통합한다.
• 디자이너는 특정 입력 이미지에 대한 예상되는 모델 동작을 주석 처리한 후, 실제 모델 출력과 비교하여 불일치를 탐지한다.
• 이 도구는 15개의 실패 유형 분류 체계에 따라 탐지된 불일치를 분류한다. 예를 들어 오분류, 거짓 양성, 맥락에 민감한 반응 등.
• LLM 생성 입력과 합성 데이터를 사용하여 다양한 사용자 집단과 극단적 케이스에 걸쳐 실패 범위를 확장한다.
• 반복적인 탐색을 지원하여 디자이너가 시간이 지남에 따라 시나리오와 실패 패턴을 개선할 수 있도록 한다.
• fAIlureNotes는 10명의 UX 전문가를 대상으로 한 연구를 통해 Hugging Face의 상호작용형 모델 카드와의 비교 평가를 통해 검증되었다.

Figure 1. Designerly understanding of AI model failures using fAIlureNotes: (a) The designer selects a user scenario based on their user research and (b) annotates the expected behavior of the AI model for an input image. Running the model for the image, (c) they compare differences in expected and

실험 결과

연구 질문

• RQ1 사용자 중심의 맥락에서 사전 훈련된 컴퓨터 비전 모델의 한계를 효과적으로 탐색하고 이해할 수 있는 방법은 무엇인가?
• RQ2 다양한 사용자 집단과 실제 세계 응용 사례에서 모델을 테스트할 때 나타나는 실패 패턴은 무엇인가?
• RQ3 fAIlureNotes는 AI 실패를 처리하기 위한 실행 가능한 UX 설계 고려사항을 유도하는 데 어떻게 기여하는가?
• RQ4 fAIlureNotes는 맥락 기반 모델 성능 평가에서 기존 도구인 상호작용형 모델 카드보다 어떻게 뛰어나게 되는가?
• RQ5 실패 중심의 설계 워크플로우는 UX 디자이너와 AI 엔지니어 간의 협업을 어떻게 향상시킬 수 있는가?

주요 결과

• fAIlureNotes는 사용자 집단과 시나리오 간의 집합적 실패 패턴을 식별하는 데 성공했으며, 이는 Hugging Face의 상호작용형 모델 카드로는 탐지할 수 없었다.
• 참가자들은 fAIlureNotes가 모델 한계를 구체적이고 실행 가능한 방식으로 다루게 해줌으로써 인간 중심 AI(Human-Centered AI, HAI) 지침을 실천하는 데 도움이 되었다고 보고했다.
• 이 도구는 컴퓨터 비전 모델에서 15가지의 명확한 실패 유형을 발견하는 데 기여했으며, 맥락에 의존하는 오분류나 조명 또는 언어에 대한 민감성 등이 포함되었다.
• 디자이너들은 사용자 경고, 백업 메커니즘, 인간이 개입하는 수동 이관 전략과 같은 실패 복구를 위한 구체적인 설계 고려사항을 도출할 수 있었다.
• 평가 결과, fAIlureNotes를 사용한 디자이너는 표준 모델 카드를 사용한 경우보다 특정 응용 사례에 대한 모델 적합도 평가에서 훨씬 더 효과적인 것으로 나타났다.
• 참가자들은 시나리오 기반의 반복적 실패 탐색이 AI 행동에 대해 깊이 있는, 디자이너다움의 이해를 형성하는 데 가치가 있다고 강조했다.

Figure 2. Proactive and reactive approaches to designerly understanding of model limitations that participants discussed in the formative interview