[논문 리뷰] Optimizing AI for Teamwork.

Gagan Bansal, Besmira Nushi외 3명|arXiv (Cornell University)|2020. 04. 27.

Explainable Artificial Intelligence (XAI)참고 문헌 21인용 수 17

한 줄 요약

이 논문은 AI 시스템을 정확도 외에도 인간-AI 협업 환경에서의 팀 성과를 위해 최적화하되, 인간이 AI의 제안을 수용할지 또는 무시할지 결정하는 상황을 고려한다. 결정 품질, 검증 비용, 개별 정확도를 균형 잡는 팀 유틸리티를 직접 최대화함으로써 실험 결과, 정확도에 약간의 희생이 있더라도 고위험도 데이터셋에서 팀 성과가 일관되게 향상됨을 입증한다.

ABSTRACT

In many high-stakes domains such as criminal justice, finance, and healthcare, AI systems may recommend actions to a human expert responsible for final decisions, a context known as AI-advised decision making. When AI practitioners deploy the most accurate system in these domains, they implicitly assume that the system will function alone in the world. We argue that the most accurate AI team-mate is not necessarily the em best teammate; for example, predictable performance is worth a slight sacrifice in AI accuracy. So, we propose training AI systems in a human-centered manner and directly optimizing for team performance. We study this proposal for a specific type of human-AI team, where the human overseer chooses to accept the AI recommendation or solve the task themselves. To optimize the team performance we maximize the team's expected utility, expressed in terms of quality of the final decision, cost of verifying, and individual accuracies. Our experiments with linear and non-linear models on real-world, high-stakes datasets show that the improvements in utility while being small and varying across datasets and parameters (such as cost of mistake), are real and consistent with our definition of team utility. We discuss the shortcoming of current optimization approaches beyond well-studied loss functions such as log-loss, and encourage future work on human-centered optimization problems motivated by human-AI collaborations.

연구 동기 및 목표

• 현재의 AI 시스템이 인간-AI 의사결정 환경에서 팀 효과성보다 정확도를 우선시하는 데서 비롯하는 한계를 해결하기 위해.
• 개별 모델의 정확도가 아닌 팀 성과를 최적화함으로써 고위험도 분야(예: 헬스케어 및 형사사법)에서 실제 결과가 향상될 수 있는지 탐구하기 위해.
• 결정 품질, 검증 비용, 개별 성능를 고려한 인간-AI 팀의 기대 유틸리티를 직접 최적화하는 프레임워크를 개발하기 위해.
• AI가 협업을 위해 최적화될 경우, 정확도에 약간의 감소가 있더라도 팀 유틸리티에 측정 가능한 향상이 초래될 수 있음을 입증하기 위해.

제안 방법

• 결정 품질, 검증 비용, 인간 및 AI의 개별 정확도를 고려한 팀 유틸리티를 수학적 함수로 정의하기.
• 표준 손실 함수(예: 로그 손실) 대신 팀 유틸리티를 최적화하는 학습 목표를 설계하기.
• 실제 고위험도 데이터셋에 대해 선형 및 비선형 모델에 이 최적화 기법을 적용하기.
• 수용률 및 최종 의사결정 품질 등 팀 수준의 성과를 반영하는 지표를 사용해 성능 평가하기.
• 인간의 의사결정 행동을 최적화 과정에 통합하기 위해, AI 제안 수용 또는 자체적으로 작업 수행 여부를 모델링하기.
• 표본 기반 평가를 통해 표준 정확도 최적화 모델과 팀 유틸리티 최적화 모델 간의 팀 유틸리티 비교하기.

실험 결과

연구 질문

• RQ1 개별 정확도가 아닌 팀 유틸리티를 최적화함으로써 인간-AI 의사결정 성과에 측정 가능한 향상이 이루어질 수 있는가?
• RQ2 고위험도 분야에서 AI 정확도와 팀 유틸리티 간의 트레이드오프가 최종 의사결정 품질에 어떤 영향을 미치는가?
• RQ3 오류 비용 등 다양한 비용 구조가 AI 정확도와 팀 성과 간 최적의 균형에 얼마나 영향을 미치는가?
• RQ4 인간이 AI 제안을 수용하거나 무시할지의 결정이 전체 팀 유틸리티에 어떤 영향을 미치는가?
• RQ5 표준 최적화 접근법(예: 로그 손실)이 인간-AI 협업 환경에 적용될 경우 어떤 한계를 지니는가?

주요 결과

• 팀 유틸리티를 최적화함으로써 다양한 실생활 고위험도 데이터셋에서 전체 팀 성과가 일관되게 향상됨을 입증하였다.
• 팀 유틸리티 향상 폭은 작고 데이터셋 및 파라미터에 따라 다를 수 있으나, 통계적으로 유의미하며 제안된 팀 유틸리티 정의와 일치한다.
• AI가 인간의 의사결정 지원을 더 효과적으로 하도록 훈련될 경우, 정확도에 약간의 희생이 있더라도 팀 유틸리티에 상당한 향상이 초래된다.
• 검증 비용과 의사결정 품질이 핵심 요소인 상황에서는 제안된 방법이 표준 정확도 최적화 모델보다 뛰어난 성능을 보였다.
• 로그 손실과 같은 잘 연구된 손실 함수에 기반한 현재의 최적화 관행은 인간-AI 협업의 역학을 모델링하는 데에는 부적합하다.
• 결과적으로 향후 AI 개발은 순수 예측 정확도보다 인간 중심의 최적화 목표를 우선시해야 한다는 점을 시사한다.