[논문 리뷰] Evaluating Human-AI Collaboration: A Review and Methodological Framework

George Fragiadakis, Christos Diou외 2명|arXiv (Cornell University)|2024. 07. 09.

Ethics and Social Impacts of AI인용 수 31

한 줄 요약

이 논문은 HAIC 평가 접근법을 검토하고 AI-Centric, Human-Centric, Symbiotic 모드 간 메트릭을 선택하기 위한 의사 결정 트리를 포함한 새로운 혼합 방법 프레임워크를 제안하며, 다양한 도메인에 적용 가능하다.

ABSTRACT

The use of artificial intelligence (AI) in working environments with individuals, known as Human-AI Collaboration (HAIC), has become essential in a variety of domains, boosting decision-making, efficiency, and innovation. Despite HAIC's wide potential, evaluating its effectiveness remains challenging due to the complex interaction of components involved. This paper provides a detailed analysis of existing HAIC evaluation approaches and develops a fresh paradigm for more effectively evaluating these systems. Our framework includes a structured decision tree which assists to select relevant metrics based on distinct HAIC modes (AI-Centric, Human-Centric, and Symbiotic). By including both quantitative and qualitative metrics, the framework seeks to represent HAIC's dynamic and reciprocal nature, enabling the assessment of its impact and success. This framework's practicality can be examined by its application in an array of domains, including manufacturing, healthcare, finance, and education, each of which has unique challenges and requirements. Our hope is that this study will facilitate further research on the systematic evaluation of HAIC in real-world applications.

연구 동기 및 목표

• 기존 HAIC 평가 방법을 조사하고 격차와 기회를 식별한다.
• 정량적·정성적 지표를 결합한 새롭고 융통성 있는 HAIC 평가 프레임워크를 제안한다.
• HAIC 모드(AI-Centric, Human-Centric, Symbiotic)에 따라 메트릭을 선택하는 구조화된 의사 결정 트리를 도입한다.
• 도메인별 적용 가능성을 입증하고 HAIC 평가에서의 윤리적 고려사항을 논의한다.

제안 방법

• 도메인에 걸친 HAIC 평가 방법에 대한 비판적 문헌 검토.
• 요인, 하위 요인, 그리고 지표를 포함한 구조화된 평가 프레임워크의 개발.
• 동적인 HAIC 상호 작용을 포착하기 위해 정량적·정성적 측정의 통합.
• 도메인별 통찰(의료, 금융, 교육)과 윤리적 고려사항에 대한 논의.
• 현실 세계의 HAIC 설정에 프레임워크를 적용하기 위한 로드맵의 개요.

실험 결과

연구 질문

• RQ1 도메인 전반에 걸친 현재 HAIC 평가 방법론의 한계는 무엇인가?
• RQ2 단일화된 혼합 방법 평가 프레임워크가 HAIC 효과성 평가를 어떻게 개선할 수 있는가?
• RQ3 AI-Centric, Human-Centric, 및 Symbiotic HAIC 모드의 역학을 가장 잘 포착하는 요인과 지표는 무엇인가?
• RQ4 제안된 프레임워크를 도메인별 요구사항과 윤리적 고려사항에 어떻게 맞춤화할 수 있는가?

주요 결과

• HAIC 평가가 정량적, 정성적, 그리고 혼합 방법 접근법 전반에 걸쳐 단편화되어 있으며, 통합된 프레임워크가 필요하다.
• 목표, 상호작용, 작업 할당을 핵심 요인으로 하는 구조화된 프레임워크가 HAIC 평가를 표준화할 수 있다.
• 의사 결정 트리 접근법은 AI-Centric, Human-Centric, 및 Symbiotic 모드에 대한 관련 지표를 선택할 수 있게 한다.
• 윤리적 고려, 투명성, 신뢰가 성능 지표와 함께 HAIC 평가에 통합되어야 한다.
• 도메인별 통찰은 프레임워크의 의료, 금융, 교육에 대한 적용 가능성을 보여준다.