[논문 리뷰] Designing Algorithmic Recommendations to Achieve Human-AI Complementarity

Bryce McLaughlin, Jann Spiess|arXiv (Cornell University)|2024. 05. 02.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 이진 결정 과제에서 인간-AI 상호보완성을 향상시키기 위한 원인 인과 기반 프레임워크를 제안한다. 잠재적 결과와 단조성 가정을 사용하여 인간의 추천 수용 및 반응을 모델링함으로써, 저자들은 직접 예측을 제공하는 것이 아니라 보완 정보를 제공하는 알고리즘 설계가 통제된 채용 실험에서 인간의 결정 성능을 크게 향상시킴을 보여준다.

ABSTRACT

Algorithms frequently assist, rather than replace, human decision-makers. However, the design and analysis of algorithms often focus on predicting outcomes and do not explicitly model their effect on human decisions. This discrepancy between the design and role of algorithmic assistants becomes particularly concerning in light of empirical evidence that suggests that algorithmic assistants again and again fail to improve human decisions. In this article, we formalize the design of recommendation algorithms that assist human decision-makers without making restrictive ex-ante assumptions about how recommendations affect decisions. We formulate an algorithmic-design problem that leverages the potential-outcomes framework from causal inference to model the effect of recommendations on a human decision-maker's binary treatment choice. Within this model, we introduce a monotonicity assumption that leads to an intuitive classification of human responses to the algorithm. Under this assumption, we can express the human's response to algorithmic recommendations in terms of their compliance with the algorithm and the active decision they would take if the algorithm sends no recommendation. We showcase the utility of our framework using an online experiment that simulates a hiring task. We argue that our approach can make sense of the relative performance of different recommendation algorithms in the experiment and can help design solutions that realize human-AI complementarity. Finally, we leverage our approach to derive minimax optimal recommendation algorithms that can be implemented with machine learning using limited training data.

연구 동기 및 목표

• 결합 결정 과제에서 인간의 판단이 최종적으로 결정하는 바를 고려하지 않는 알고리즘 설계의 격차를 해소하기 위해.
• 인간이 결정 권한을 유지하는 주체-대리자 모델에서 추천 알고리즘 설계를 체계화함으로써 인간과 알고리즘 전문성 간의 상호보완성을 가능하게 하기 위해.
• 인간이 추천에 어떻게 반응하는지(특히 수용 및 능동적 결정)를 원인 인과 이론 원칙을 사용해 명시적으로 모델링하는 프레임워크를 개발하기 위해.
• 실증적으로, 예측 정확도에만 집중하는 알고리즘보다 상호보완성을 고려해 설계된 추천 알고리즘이 인간이 참여하는 결정 과제에서 성능이 뛰어남을 입증하기 위해.
• 알고리즘 정확도와 인간 반응 효과로 성능을 분해함으로써, 추천 시스템을 체계적으로 최적화하는 접근법을 제공하기 위해.

제안 방법

• 원인 인과 이론에서 유래한 잠재적 결과 프레임워크를 사용하여, 다양한 추천 조건 하에서의 결과를 모델링함으로써 추천 설계 문제를 체계화한다.
• 인간의 추천에 대한 반응을 제한하는 단조성 가정을 도입하여, 추천은 결정을 추천된 행동 쪽으로만 이동시킨다.
• 목표 함수를 두 성분으로 분해한다: (1) 알고리즘 추천을 직접 구현했을 때의 손실, (2) 인간이 추천에서 벗어난 경우의 손실.
• 원인 인과 이론에서의 도구 변수 유사성을 사용하여 수용 행동을 모델링하며, 추천을 인간 결정에 영향을 주는 도구로 간주한다.
• 961명의 참가자가 참여한 온라인 실험을 통해 채용 과제를 시뮬레이션하고, 수용에 대한 다양한 가정을 기반으로 추천 알고리즘을 다양화한다.
• 치료군(예: 예측형, 상호보완형, 선별형) 간 성능을 실증적으로 평가하고, 이해도를 확인하기 위한 이해도 검증 질문을 사용하여 알고리즘 이해가 결과에 영향을 미침을 검증한다.

실험 결과

연구 질문

• RQ1 어떻게 추천 알고리즘을 설계하여 인간의 결정 과정을 향상시키고, 단지 결과를 예측하는 데 그치지 않도록 할 수 있는가?
• RQ2 인간이 알고리즘 추천에 얼마나 수용하는가가 전체 시스템 성능을 결정하는 데 어떤 역할을 하는가?
• RQ3 이진 결정 과제에서 인간-AI 상호보완성이 어떤 조건에서 발생하는가?
• RQ4 예측형 대비 상호보완형 등 다양한 알고리즘 설계가 실제 세계의 결정 상황에서 인간의 성능에 어떤 영향을 미치는가?
• RQ5 인간 결정자가 추천 알고리즘을 얼마나 잘 이해하는가가 인간-AI 협업 성공에 어느 정도 기여하는가?

주요 결과

• 참가자들은 제어군(알고리즘 없음)이나 예측형 알고리즘만 사용한 경우보다 상호보완형 및 상호보완형 선별형 추천 알고리즘을 사용했을 때 성능이 유의미하게 향상되어 인간-AI 상호보완성을 달성했다.
• 결정을 지시하지 않고 보완 정보를 제공하는 상호보완형 알고리즘은 실험에서 다른 모든 테스트된 알고리즘보다 뛰어난 성능을 보였다.
• 예측형 처리군에 속한 참가자들은 알고리즘 전용 또는 인간 전용 성능과 동일한 성능을 보였으며, 협업을 통해 성능 향상을 이루지 못했다.
• 추천 알고리즘을 올바르게 이해한 참가자(이해도 질문 기준)는 더 강력하고 일관된 성능을 보였으며, 이는 알고리즘 투명성의 중요성을 뒷받침한다.
• 수용 행동은 일반적으로 정교했는데, 참가자들은 적절한 경우 공학 전공 지원자에 대해 추천을 무시하는 등, 보완적 지원을 받은 상태에서 미묘하고 맥락 인식된 결정을 내렸다.
• 이 프레임워크는 다양한 알고리즘의 상대적 성능을 성공적으로 설명하여, 효과적인 인간-AI 협업 시스템을 예측하고 설계하는 데 유용함을 검증했다.