[논문 리뷰] A Brief Guide to Designing and Evaluating Human-Centered Interactive Machine Learning

Kory W. Mathewson, Patrick M. Pilarski|arXiv (Cornell University)|2022. 04. 20.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 정당성, 투명성, 사용자 중심성 향상을 위해 반복적이고 이해관계자 기반의 개발을 강조하는 상호작용 기반 기계학습(IML) 시스템 설계 및 평가를 위한 인간 중심 프레임워크를 제시한다. 이 프레임워크는 사전 예측 기법, 반성적 평가, 윤리적 배포 관행을 통합하여 위험을 완화하고 기계학습 시스템이 인간의 가치와 실제 적용 환경과 일치하도록 한다.

ABSTRACT

Interactive machine learning (IML) is a field of research that explores how to leverage both human and computational abilities in decision making systems. IML represents a collaboration between multiple complementary human and machine intelligent systems working as a team, each with their own unique abilities and limitations. This teamwork might mean that both systems take actions at the same time, or in sequence. Two major open research questions in the field of IML are: "How should we design systems that can learn to make better decisions over time with human interaction?" and "How should we evaluate the design and deployment of such systems?" A lack of appropriate consideration for the humans involved can lead to problematic system behaviour, and issues of fairness, accountability, and transparency. Thus, our goal with this work is to present a human-centred guide to designing and evaluating IML systems while mitigating risks. This guide is intended to be used by machine learning practitioners who are responsible for the health, safety, and well-being of interacting humans. An obligation of responsibility for public interaction means acting with integrity, honesty, fairness, and abiding by applicable legal statutes. With these values and principles in mind, we as a machine learning research community can better achieve goals of augmenting human skills and abilities. This practical guide therefore aims to support many of the responsible decisions necessary throughout the iterative design, development, and dissemination of IML systems.

연구 동기 및 목표

• 상호작용 기반 기계학습(IML) 시스템에서 인간 중심 접근 방식의 부족으로 인해 발생하는 정당성, 책임성, 투명성 문제를 해결한다.
• 사용자 중심의 체계적이고 반복적인 설계 프로세스를 제공하여 개발 전반에 걸쳐 이해관계자를 통합함으로써 시스템의 사용성 향상과 인간 가치와의 일치를 도모한다.
• 사전 예측 기법(예: 프리모르템, 디자인 씽킹)을 통합하여 실패 모드를 사전에 탐지하고, IML 배포 시 위험을 완화한다.
• 투명한 커뮤니케이션, 이해관계자 피드백 루프, 사용자 구제 및 모니터링 메커니즘을 통해 책임감 있는 배포를 지원한다.
• 이론적 IML 연구와 실제 응용 사이의 격차를 해소하기 위해 사회기술적 시스템 설계와 윤리적 책임을 강조한다.

제안 방법

• IML 시스템의 목적과 평가 기준을 명확히 하기 위해 초기 단계에서 검증 가능한 가설을 수립한다.
• 실행 이전에 위험, 실패 모드, 설계 트레이드오프를 사전에 식별하기 위해 사전 예측 기법(예: 프리모르템, 디자인 씽킹)을 활용한다.
• 모든 반복 단계에서 인간-중심 피드백을 통합하여, 모델 영향, 사용성, 윤리적 우려 등을 구조화된 이해관계자 토론을 통해 평가한다.
• 제거 분석(Ablation studies)을 통해 모델 복잡도, 추론 속도, 해석 가능성, 계산 비용 등의 차원에서 트레이드오프를 체계적으로 분 析한다.
• 모든 실험 설정, 모델 버전, 결과를 기록하여 개발 주기 전반에서 재현 가능성과 추적 가능성을 확보한다.
• 사용자 중심 테스트를 통해 시스템을 배포하고, 다양한 사용자로부터 정성적 피드백을 확보하며, 악성 행동 및 모델 보안에 대비한 보안 조치를 구현한다.

실험 결과

연구 질문

• RQ1 연속적인 인간 상호작용을 통해 시간이 지남에 따라 더 나은 학습을 이룰 수 있도록 IML 시스템을 어떻게 설계할 수 있는가? 이 과정에서 정당성과 투명성 유지가 가능할까?
• RQ2 배포 이전에 IML 시스템 설계에서 잠재적 위험을 사전에 식별하고 완화하기 위해 어떤 방법을 사용할 수 있는가?
• RQ3 반복적 개발 라이프사이클 전반에 걸쳐 이해관계자의 시각, 가치관, 우려 사항을 어떻게 의미 있게 통합할 수 있는가?
• RQ4 IML 시스템이 사용자 기대와 일치하고 해석 가능하며 사용 가능하도록 보장하기 위해 어떤 평가 지표와 피드백 메커니즘이 필요한가?
• RQ5 IML 시스템을 어떻게 책임감 있게 커뮤니케이션하고 배포할 수 있는가? 사용자 구제, 모니터링, 윤리적 감시를 위한 명확한 경로는 무엇인가?

주요 결과

• IML 개발 전 단계에서 인간 피드백을 통합하면 시스템 사용성, 이해관계자 신뢰도, 실제 요구사항과의 일치도가 크게 향상된다.
• 프리모르템과 같은 사전 예측 기법은 설계 초기 단계에서 실패 모드와 윤리적 위험을 식별하는 데 도움을 주어 향후 피해를 줄인다.
• 다양한 이해관계자와의 반복적 평가를 통해 모델 영향, 권력 관계, 인식된 정당성에 대한 중요한 통찰을 도출할 수 있으며, 이는 정량적 지표만으로는 드러나지 않는다.
• 체계적인 트레이드오프 분석(예: 제거 분석)을 통해 모델 복잡도, 속도, 해석 가능성에 대한 더 나은 의사결정이 가능해진다.
• 사용성과 정성적 사용자 피드백은 원체력 성능 지표보다도 더 큰 영향을 미치며, 모델의 인식된 품질과 도입 수준을 강력하게 예측한다.
• 투명한 커뮤니케이션, 코드 및 모델의 오픈소스화, 명확한 문서화는 IML 배포 시 재현 가능성과 대중의 책임성 확보에 필수적이다.