[논문 리뷰] A Taxonomy of Human and ML Strengths in Decision-Making to Investigate Human-ML Complementarity

Charvi Rastogi, Liu Leqi외 2명|arXiv (Cornell University)|2022. 04. 22.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

이 논문은 인간과 기계학습(ML)의 강점이 의사결정에서 어떻게 상호보완적인지를 명확히 하기 위해 인간-ML 상호보완성의 분류 체계를 제안한다. 인지적 능력과 통계적 능력의 차이를 분석함으로써, 저자들은 인간과 ML 판단의 최적 집합을 위한 수학적 프레임워크를 개발하였으며, 목적이 다를 때 상호보완성이 가장 높으며, 최적의 협업은 모든 인스턴스에서 볼록 조합이 아닌, 각 인스턴스에서 성능이 더 좋은 에이전트에게 위임하는 방식임을 보여준다.

ABSTRACT

Hybrid human-ML systems increasingly make consequential decisions in a wide range of domains. These systems are often introduced with the expectation that the combined human-ML system will achieve complementary performance, that is, the combined decision-making system will be an improvement compared with either decision-making agent in isolation. However, empirical results have been mixed, and existing research rarely articulates the sources and mechanisms by which complementary performance is expected to arise. Our goal in this work is to provide conceptual tools to advance the way researchers reason and communicate about human-ML complementarity. Drawing upon prior literature in human psychology, machine learning, and human-computer interaction, we propose a taxonomy characterizing distinct ways in which human and ML-based decision-making can differ. In doing so, we conceptually map potential mechanisms by which combining human and ML decision-making may yield complementary performance, developing a language for the research community to reason about design of hybrid systems in any decision-making domain. To illustrate how our taxonomy can be used to investigate complementarity, we provide a mathematical aggregation framework to examine enabling conditions for complementarity. Through synthetic simulations, we demonstrate how this framework can be used to explore specific aspects of our taxonomy and shed light on the optimal mechanisms for combining human-ML judgments

연구 동기 및 목표

• 인간-ML 시스템이 때로 개별 에이전트보다 성능이 뛰어나지 않는 이유에 대한 개념적 명확성의 부족을 해결하기 위해.
• 의사결정 맥락에서 인간과 ML 모델의 독특한 강점과 약점을 식별하고 분류하기 위해.
• 인간-ML 협업이 언제이고 어떻게 보완적인 성능을 낼 수 있는지를 분석하기 위한 공식적 프레임워크를 개발하기 위해.
• 연구자와 실무자들이 효과적인 협업을 예측할 수 있도록 공통의 언어와 분석 도구를 제공함으로써 하이브리드 시스템 설계를 안내하기 위해.

제안 방법

• 심리학, 머신러닝, 인간-컴퓨터 상호작용 분야의 통찰을 기반으로 인간과 ML의 의사결정 강점에 대한 분류 체계를 제안한다.
• 협업이 성능 향상에 기여하는지 여부에 따라 인스턴스 간 및 인스턴스 내 유형의 상호보완성을 분류한다.
• 인간과 ML 예측의 가중 평균으로서 공동 의사결정를 모델링하기 위해 볼록 조합 집합 프레임워크를 개발한다.
• 다양한 목표 일치 수준에서 상호보완성을 정량화하기 위해 성능 지표 $c_{\text{across}}$ 및 $c_{\text{within}}$ 를 도입한다.
• 목표 일치 정도를 변화시켜가며 상호보완성이 발생하는 조건을 탐색하기 위해 합성 시뮬레이션을 사용한다 (매개변수 $b$ 로 매개변수화됨).
• 개별 에이전트와의 성능 비교를 통해 최적의 집합 메커니즘을 분석함으로써, 목표가 다를 경우 볼록 조합보다 위임 기반 전략이 더 뛰어나다는 것을 밝혀낸다.

실험 결과

연구 질문

• RQ1 인간과 ML 의사결정가의 강점과 약점이 어떻게 다를 수 있는가?
• RQ2 인간-ML 협업이 부정적인 성능 향상이나 열악한 성능 악화를 겪지 않고 보완적인 성능을 낼 수 있는 조건은 무엇인가?
• RQ3 인간과 ML의 목적이 일치할수록 상호보완성의 잠재력은 어떻게 영향을 받는가?
• RQ4 인간과 ML 판단을 집계하는 데 있어 최적의 메커니즘은 무엇인가?
• RQ5 통합된 프레임워크는 다양한 의사결정 도메인에서 효과적인 인간-ML 협업을 설명하고 예측할 수 있는가?

주요 결과

• 인간과 ML의 목적이 완전히 일치할 때($b=1$) 보완적인 성능가 가장 낮으며, 이는 협업의 동기가 없기 때문이다.
• 목적이 다를 경우($b \neq 1$), 인스턴스 간 보완성($c_{\text{across}}$)이 상대적으로 높아지며, 팀 성능 향상 잠재력이 크다는 것을 시사한다.
• 목표 불일치 상황에서도 인스턴스 내 보완성($c_{\text{within}}$)은 낮은 편이므로, 최적의 협업이 모든 인스턴스에서 양쪽 에이전트가 기여할 필요는 없다는 것을 의미한다.
• 최적의 집합 메커니즘은 판단의 볼록 조합이 아니라, 각 인스턴스에서 성능이 더 좋은 에이전트에게 위임하는 것이다.
• 합성 시뮬레이션 결과, 인간과 ML 모델의 목적이 다를 경우 위임 기반 협업이 고정된 가중 평균 방식보다 성능이 뛰어나다는 것이 확인되었다.
• 이 프레임워크는 최적의 인간-ML 협업에 대한 가설 생성을 가능하게 하며, 성능 향상과 구현 비용 간의 트레이드오프를 정량화할 수 있다.