[논문 리뷰] Designing Trustworthy AI: A Human-Machine Teaming Framework to Guide Development

Carol J. Smith|arXiv (Cornell University)|2019. 10. 08.

Ethics and Social Impacts of AI인용 수 14

한 줄 요약

이 논문은 신뢰할 수 있는 AI 개발을 위해 윤리를 설계 과정에 통합함으로써 인간-기계 협업(HMT) 프레임워크를 제안한다. 인간-컴퓨터 상호작용 원칙과 윤리 코드를 통합하여 AI 시스템이 책임감 있고, 안전하며, 정직하고, 사용하기 쉽게, 인간을 존중하도록 보장하며, 사용자 이해도와 시스템 준수 여부를 검증하기 위해 사용성 테스트를 활용한다.

ABSTRACT

Artificial intelligence (AI) holds great promise to empower us with knowledge and augment our effectiveness. We can -- and must -- ensure that we keep humans safe and in control, particularly with regard to government and public sector applications that affect broad populations. How can AI development teams harness the power of AI systems and design them to be valuable to humans? Diverse teams are needed to build trustworthy artificial intelligent systems, and those teams need to coalesce around a shared set of ethics. There are many discussions in the AI field about ethics and trust, but there are few frameworks available for people to use as guidance when creating these systems. The Human-Machine Teaming (HMT) Framework for Designing Ethical AI Experiences described in this paper, when used with a set of technical ethics, will guide AI development teams to create AI systems that are accountable, de-risked, respectful, secure, honest, and usable. To support the team's efforts, activities to understand people's needs and concerns will be introduced along with the themes to support the team's efforts. For example, usability testing can help determine if the audience understands how the AI system works and complies with the HMT Framework. The HMT Framework is based on reviews of existing ethical codes and best practices in human-computer interaction and software development. Human-machine teams are strongest when human users can trust AI systems to behave as expected, safely, securely, and understandably. Using the HMT Framework to design trustworthy AI systems will provide support to teams in identifying potential issues ahead of time and making great experiences for humans.

연구 동기 및 목표

• 실제 응용 분야에서 윤리적 AI 개발을 이끄는 실용적 프레임워크의 부족을 보완하기 위해.
• 특히 정부 및 공공부문 환경에서 AI 시스템이 안전하고 제어 가능하며 신뢰할 수 있도록 보장하기 위해.
• 다양한 AI 개발 팀 간에 가치와 설계 원칙을 일치시킬 수 있는 공통된 윤리적 기반을 제공하기 위해.
• 사용성과 사용자 이해를 AI 시스템 설계에 통합하여 신뢰도와 수용도를 향상시키기 위해.
• 구조화된 팀 활동을 통해 사전에 윤리적 문제와 사용성 문제를 식별함으로써 AI 배포의 위험을 완화하기 위해.

제안 방법

• 기존 윤리 코드와 인간-컴퓨터 상호작용 및 소프트웨어 개발 분야의 최선의 실천 방식을 통합하여 인간-기계 협업(HMT) 프레임워크를 개발한다.
• 책임감, 리스크 감소, 존중, 보안, 정직, 사용성 등의 핵심 윤리 원칙을 AI 설계 수명 주기 전반에 통합한다.
• 사용자 중심 활동인 사용성 테스트를 통합하여 사용자가 AI 시스템의 기능과 행동을 이해하고 있는지 평가한다.
• 사용자 피드백과 윤리 준수 기반으로 반복적인 설계 과정을 통해 AI 시스템을 평가하고 개선한다.
• 공동의 윤리와 인간의 필요를 기반으로 팀 협업을 구조화하여 AI 결과에 대한 신뢰를 강화한다.
• 특히 광범위한 인구에 영향을 미치는 정부 응용 분야에서 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 AI 개발 팀은 어떻게 체계적으로 AI 시스템 설계에 윤리 원칙을 통합할 수 있는가?
• RQ2 사용자에게 신뢰할 수 있고, 사용하기 쉽게, 인간을 존중하는 AI 시스템을 개발하는 데 도움이 되는 실용적 프레임워크는 무엇인가?
• RQ3 사용자 이해도를 보장하고 AI 시스템 행동에 대한 신뢰를 확보하기 위해 사용성 테스트는 어떻게 활용될 수 있는가?
• RQ4 공공부문 응용 분야에서 다양한 AI 개발 팀 간에 가치를 일치시키기 위해 필요한 공통 윤리 기반은 무엇인가?
• RQ5 영향력이 큰 분야에서 기술적으로 탄탄하면서도 사회적 책임감 있는 AI 시스템은 어떻게 설계할 수 있는가?

주요 결과

• HMT 프레임워크는 윤리를 개발 수명 주기 전반에 통합함으로써 신뢰할 수 있는 AI 설계를 위한 체계적이고 실천 가능한 접근법을 제공한다.
• 사용성 테스트는 사용자가 AI 시스템의 기능을 이해하지 못하는 격차를 효과적으로 파악하여 투명성과 신뢰도 향상에 도움을 준다.
• 프레임워크는 책임감 있고, 안전하며, 인간의 자율성과 의사결정을 존중하는 AI 시스템 구축을 지원한다.
• 다양한 팀을 공통 윤리 원칙 기반으로 통합함으로써 공공부문 AI 배포에서 뜻하지 않은 결과의 위험을 줄인다.
• 인간-컴퓨터 상호작용 실천 방식과 AI 윤리를 통합함으로써 시스템의 사용성과 사용자 자신감이 향상된다.
• 특히 신뢰와 신뢰성이 극도로 중요한 정부 서비스와 같은 고위험 환경에서 프레임워크는 특히 효과적이다.