[논문 리뷰] A Human-Centered Approach to Interactive Machine Learning

Kory W. Mathewson|arXiv (Cornell University)|2019. 05. 15.

Ethics and Social Impacts of AI참고 문헌 15인용 수 8

한 줄 요약

이 논문은 윤리 원칙, 이해관계자 참여, 반복적 설계를 통합하여 AI 시스템의 공정성, 책임성, 투명성을 향상시키는 인간 중심의 상호작용 기반 기계학습(IML) 프레임워크를 제시한다. 가설 수립에서부터 구현에 이르기까지 개발 생애주기 전반에 인간 요소를 통합함으로써, 사용자 친화성, 해석 가능성, 인간가치 및 사회적 수요와의 일치성을 확보한다.

ABSTRACT

The interactive machine learning (IML) community aims to augment humans' ability to learn and make decisions over time through the development of automated decision-making systems. This interaction represents a collaboration between multiple intelligent systems---humans and machines. A lack of appropriate consideration for the humans involved can lead to problematic system behaviour, and issues of fairness, accountability, and transparency. This work presents a human-centred thinking approach to applying IML methods. This guide is intended to be used by AI practitioners who incorporate human factors in their work. These practitioners are responsible for the health, safety, and well-being of interacting humans. An obligation of responsibility for public interaction means acting with integrity, honesty, fairness, and abiding by applicable legal statutes. With these values and principles in mind, we as a research community can better achieve the collective goal of augmenting human ability. This practical guide aims to support many of the responsible decisions necessary throughout iterative design, development, and dissemination of IML systems.

연구 동기 및 목표

• 책임감 있는 AI 원칙과 실제 ML 구현 간 격차를 해소하기 위해 인간 요소를 IML 시스템 설계에 통합함으로써.
• 체계적인 인간-중심의 루프 실천을 통해 상호작용 기반 기계학습에서의 공정성, 책임성, 투명성을 증진함으로써.
• 개발 생애주기 전반에 걸쳐 ML 시스템을 인간의 수요, 가치, 사회적 영향과 일치시킬 수 있도록 실무자들을 안내함으로써.
• 설계, 평가, 구현 단계에서 이해관계자를 사전에 참여시켜 보상의 오류 정렬 및 뜻하지 않은 피해를 줄임으로써.
• 윤리 심의위원회를 넘어서 실질적이고 실행 가능한 지침을 제공함으로써 책무 있는 AI 개발을 지원함으로써.

제안 방법

• 시험 가능 가설 수립과 이해관계자 수요 파악을 시작으로 인간 중심의 설계 프로세스를 채택함으로써.
• 공감 훈련, 개방적 소통, 이중 용도 위험 분석을 통해 이해관계자를 조기에 통합함으로써.
• 화이트보드 모델링과 프리모어템 분석을 활용해 워크플로우를 시각화하고 실제 구현 이전에 실패 모드를 사전에 예측함으로써.
• 기본 성능 기준을 확립하고 기능 설계를 안내하기 위해 기초 모델(예: 인간-중심 또는 오라클의 마법사)을 구현함으로써.
• 일관된 메트릭, 안전 테스트, 다양한 집단에 대한 편향 평가를 반복적으로 적용함으로써 평가를 수행함으로써.
• 모델 복잡도, 해석 가능성, 속도, 구현 제약 조건 간의 상호 교환 분석을 통해 최적화를 안내함으로써.

실험 결과

연구 질문

• RQ1 어떻게 인간 중심의 설계 원칙을 체계적으로 상호작용 기반 기계학습 시스템에 적용하여 공정성과 책임성을 향상시킬 수 있는가?
• RQ2 특히 시스템에 영향을 받거나 시스템에 대립하는 이해관계자들의 시각은 책무 있는 ML 개발에 어떤 역할을 하는가?
• RQ3 어떻게 반복적 개발 프로세스를 구성하여 인간과의 일치를 유지하고 실패 모드를 조기에 탐지할 수 있는가?
• RQ4 공개된 ML 구현에서 투명성과 재현 가능성을 보장하기 위한 평가 및 소통 전략은 무엇인가?
• RQ5 모델의 오용, 모델 공격, 인간 행동 리스크를 예측할 수 있도록 구현 단계를 어떻게 설계할 수 있는가?

주요 결과

• 가설 수립 및 설계 단계에서 이해관계자를 조기에 통합함으로써 사용자 친화성, 투명성, 윤리적 일치성이 높은 시스템이 만들어진다.
• 인간 보조(오라클의 마법사) 시스템과 같은 기초 모델은 완전 자동화 이전에 핵심 기능과 성능 기대치를 파악하는 데 도움이 된다.
• 다양한 집단을 대상으로 정기적인 평가를 통해 구현 이전에 반드시 해결해야 할 편향과 공정성 문제를 드러낸다.
• 해석 가능성, 속도, 복잡도 간의 상호 교환 분석을 통해 더 책무적인 모델 선택 및 최적화가 가능해진다.
• 실제 사용자 대상의 사용성 테스트를 통해 인간이 모델을 어떻게 해석하고 상호작용하는지, 잠재적 오용 또는 적대적 행동까지 파악할 수 있다.
• 한계, 위험, 재현 가능성 실천 방법을 명확히 소통함으로써 신뢰를 증진하고 공공의 ML 시스템 수용을 지원할 수 있다.