[논문 리뷰] Human-AI Collaboration in Decision-Making: Beyond Learning to Defer

Diogo Leitão, Pedro Saleiro외 2명|arXiv (Cornell University)|2022. 06. 27.

Human-Automation Interaction and Safety인용 수 20

한 줄 요약

본 논문은 인간–AI 의사결정에서 Learning to Defer (L2D)를 분석하고, 실제 배치에서의 주요 한계를 식별하며, L2D를 넘어 더 강건하고 공정하며 동적인 HAIC 시스템을 구축하기 위한 연구 방향을 제시한다.

ABSTRACT

Human-AI collaboration (HAIC) in decision-making aims to create synergistic teaming between human decision-makers and AI systems. Learning to defer (L2D) has been presented as a promising framework to determine who among humans and AI should make which decisions in order to optimize the performance and fairness of the combined system. Nevertheless, L2D entails several often unfeasible requirements, such as the availability of predictions from humans for every instance or ground-truth labels that are independent from said humans. Furthermore, neither L2D nor alternative approaches tackle fundamental issues of deploying HAIC systems in real-world settings, such as capacity management or dealing with dynamic environments. In this paper, we aim to identify and review these and other limitations, pointing to where opportunities for future research in HAIC may lie.

연구 동기 및 목표

• 실세계 HAIC 배치에서 L2D 프레임워크의 한계를 명확히 밝히기.
• 용량(Capacity), 선택적 라벨링, 공정성, 동적 환경이 HAIC 성능에 어떠한 영향을 미치는지 평가하기.
• L2D를 넘어 전체적 HAIC 시스템으로 확장하기 위한 향후 연구 방향 제안.

제안 방법

• Learning to Defer (L2D) 프레임워크와 수학적 형식을 검토하고 합성하기.
• L2D가 deferral 모델과 주 분류기를 통해 할당을 최적화하는 방법 설명하기.
• 모든 학습 인스턴스에 대한 인간 예측의 필요성과 용량 관리의 부재와 같은 한계 논의.
• 선택적 라벨링, 다수의 의사결정자, 견고성, 공정성과 같은 도전 과제 분석.
• 동적 환경과 비정상성(non-stationarity)을 다루지 않은 요인으로 강조.
• L2D를 넘어선 잠재적 향후 연구 방향 개요.

실험 결과

연구 질문

• RQ1 실제 HAIC에서 Learning to Defer의 구조적 한계는 무엇인가?
• RQ2 용량 제약, 선택적 라벨링, 다수의 전문가가 L2D 하에서 HAIC 성능에 어떤 영향을 미치는가?
• RQ3 동적 환경에서 HAIC 시스템이 공정성과 견고성을 어떻게 유지할 수 있는가?
• RQ4 데이터-유/무 인간 예측과 비정상성에 대응할 대안적이거나 보완적 접근법은 무엇인가?

주요 결과

• L2D는 모든 학습 인스턴스에 대해 인간 예측이 필요하고 명시적인 용량 관리가 없다는 등 실용적 한계가 크다.
• 공동 학습 in L2D는 견고성을 저하시킬 수 있으며 AI가 인간에게 점수나 설명을 제공하는 자문 역할을 방해할 수 있다.
• 다수의 전문가에게 위임하는 것은 데이터 수집 부담을 증가시키며 실제 팀에서 실행 가능하지 않을 수 있다, 특히 동시 예측이 없을 때.
• 용량 관리, 선택적 라벨, 공정성, 동적 환경은 L2D로 충분히 다루어지지 않으며 새로운 방법론이 필요하다.
• 비정상적 환경과 개념 드리프트는 L2D가 본래 다루지 않는 과제로, 지속적인 업데이트와 적응적 시스템이 필요하다.
• 본 논문은 성능, 공정성, 용량 제약, 적응성을 실제 환경에 통합한 총체적 HAIC 연구를 촉구한다.