[논문 리뷰] Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy

Ben Shneiderman|arXiv (Cornell University)|2020. 02. 10.

Human-Automation Interaction and Safety참고 문헌 25인용 수 13

한 줄 요약

이 논문은 높은 인간의 통제와 높은 컴퓨터 자동화 사이의 균형을 통해 시스템의 신뢰성, 안전성, 신뢰성을 향상시키기 위해 인간 중심 인공지능(HCAI) 프레임워크를 제안한다. 과도한 인간 의존 또는 기계 의존으로 인한 위험을 방지하는 설계 원칙을 제시함으로써, AI 통합 시스템 내에서 인간의 성과, 자기효능감, 책임감을 향상시킨다.

ABSTRACT

Well-designed technologies that offer high levels of human control and high levels of computer automation can increase human performance, leading to wider adoption. The Human-Centered Artificial Intelligence (HCAI) framework clarifies how to (1) design for high levels of human control and high levels of computer automation so as to increase human performance, (2) understand the situations in which full human control or full computer control are necessary, and (3) avoid the dangers of excessive human control or excessive computer control. The methods of HCAI are more likely to produce designs that are Reliable, Safe & Trustworthy (RST). Achieving these goals will dramatically increase human performance, while supporting human self-efficacy, mastery, creativity, and responsibility.

연구 동기 및 목표

• 높은 수준의 인간 통제와 높은 수준의 컴퓨터 자동화를 통합함으로써 인간 성과를 향상시키는 프레임워크를 개발하는 것.
• 완전한 인간 통제 또는 완전한 컴퓨터 통제가 필요한 맥락을 특정하여 설계적 함정을 피하는 것.
• 과도한 인간 통제(예: 인지적 과부하) 또는 과도한 자동화(예: 무관심)로 인한 위험을 방지하는 것.
• 인간 중심 설계 원칙을 통해 신뢰성 있고 안전하며 신뢰할 수 있는 시스템을 조성하는 것.
• AI 보강 환경에서 인간의 자기효능감, 숙련도, 창의성, 책임감을 지원하는 것.

제안 방법

• 인간 통제와 기계 자동화 사이의 균형을 명시적으로 고려하여 시스템을 설계하는 것.
• 시스템 아키텍처 및 상호작용 설계를 안내하기 위해 HCAI 프레임워크를 적용하는 것.
• 인간 감시가 필수적인 핵심 의사결정 지점과 안전하게 작동할 수 있는 자동화가 가능한 지점을 식별하는 것.
• 통제 분배의 극단을 피하기 위해 경험적 및 설계 기반 추론을 사용하는 것.
• AI 시스템 인터페이스에서 투명성, 설명 가능성, 사용자 주권을 강조하는 것.
• 인간-컴퓨터 상호작용(HCI) 원칙을 AI 시스템 개발에 적용하는 것.

실험 결과

연구 질문

• RQ1 인공지능 시스템에서 인간 통제와 기계 자동화를 어떻게 균형 있게 조절하여 인간 성과를 극대화할 수 있는가?
• RQ2 어떤 상황에서 완전한 인간 통제가 필수적이며, 언제 완전한 컴퓨터 통제가 더 적절한가?
• RQ3 과도한 인간 통제 또는 과도한 자동화로 인한 위험을 방지하는 설계 전략은 무엇인가?
• RQ4 어떻게 인간 중심 설계를 통해 인공지능 시스템을 더 신뢰성 있고 안전하며 신뢰할 수 있게 만들 수 있는가?
• RQ5 인간의 자기효능감은 인공지능 보강 시스템의 성공에 어떤 역할을 하는가?

주요 결과

• HCAI 프레임워크는 통제와 자동화의 균형을 통해 높은 인간 성과를 달성하는 시스템 설계를 성공적으로 이끌어낸다.
• 높은 인간 통제와 높은 자동화를 통합한 시스템은 오류를 감소시키고 사용자 만족도를 향상시킨다.
• 과도한 자동화는 상황 인식 능력 저하와 AI에 대한 과도한 의존을 유도하여 위험을 증가시킨다.
• 과도한 인간 통제는 인지적 과부하와 의사결정 피로를 유발하여 성과를 떨어뜨린다.
• 이 프레임워크는 인간의 자기효능감, 숙련도, 책임감을 지원한다.
• 의도적인 설계를 통해 이 접근법은 더 신뢰성 있고 안전하며 신뢰할 수 있는 시스템을 만들어낸다.