[논문 리뷰] Predict Responsibly: Improving Fairness and Accuracy by Learning to Defer

David Madras, Toniann Pitassi외 1명|arXiv (Cornell University)|2017. 11. 17.

Ethics and Social Impacts of AI인용 수 57

한 줄 요약

이 논문은 learning to defer를 소개합니다. 이는 자동화 모델이 외부 의사결정자에게 의사 결정을 위임할 수 있는 적응적 이단계 프레임워크로, 편향되거나 일관되지 못한 의사결정자가 존재하는 상황에서 시스템 전반의 정확도와 공정성을 최적화합니다.

ABSTRACT

In many machine learning applications, there are multiple decision-makers involved, both automated and human. The interaction between these agents often goes unaddressed in algorithmic development. In this work, we explore a simple version of this interaction with a two-stage framework containing an automated model and an external decision-maker. The model can choose to say "Pass", and pass the decision downstream, as explored in rejection learning. We extend this concept by proposing "learning to defer", which generalizes rejection learning by considering the effect of other agents in the decision-making process. We propose a learning algorithm which accounts for potential biases held by external decision-makers in a system. Experiments demonstrate that learning to defer can make systems not only more accurate but also less biased. Even when working with inconsistent or biased users, we show that deferring models still greatly improve the accuracy and/or fairness of the entire system.

연구 동기 및 목표

• 자동화된 모델이 인간 또는 외부 의사결정자에게 결정을 넘길 수 있도록 인간-기계 의사결정을 공동으로 구성하고 formalize한다.
• 의사결정자(DM)의 영향력과 잠재적 편향을 고려하는 적응 프레임워크로 rejection learning을 일반화한다.
• 결정 위임이 DM 특성에 의존할 때 시스템 전반의 정확도와 공정성을 최적화하는 학습 알고리즘을 개발한다.
• DM이 일정한 손실을 가질 때 learning to defer가 rejection learning을 일반화한다는 이론적 연결 고리를 제공한다.

제안 방법

• 모델이 예측 또는 DM에 대한 패스 결정을 출력하는 2단계 캐스케이드를 공식화한다.
• 모델 예측과 DM 예측 간의 선택을 설정하는 defer된 로그가능도 L_defer를 정의하고 최소화한다.
• DM가 일정한 손실을 가질 때의 동등성으로서 rejection learning과의 등가를 보여주며 learning to defer를 일반화로 확립한다.
• 후처리 임계값 설정(post-hoc thresholding)과 deferral 확률 π의 엔드-투-엔드 미분 가능 학습의 두 가지 학습 방법을 제안한다.
• 민감한 그룹 간의 equalized odds를 촉진하기 위한 공정성 규제 손실을 포함한다.
• 고정 DM 전문가 하나와 학습 가능한 모델 예측을 갖는 mixture-of-experts 관점으로 활용한다.

실험 결과

연구 질문

• RQ1 머신러닝 모델이 외부 의사결정자에게 전략적으로 위임하여 전체 시스템의 정확도와 공정성을 어떻게 개선할 수 있는가?
• RQ2 DM이 일정한 손실을 가질 때 learning to defer가 표준 rejection learning으로 축소되는 조건은 무엇인가?
• RQ3 외부 의사결정자가 편향되었거나 불일치하거나 추가 정보를 갖고 있을 때 위임을 어떻게 모델링하고 학습해야 하는가?
• RQ4 적응적 위임이 비적응적 거절보다 하위 그룹 간의 오류를 더 공정하게 분배할 수 있는가?

주요 결과

• learning to defer는 시뮬레이션된 DM 시나리오에서 표준 rejection learning에 비해 시스템 차원의 정확도와 공정성을 향상시킨다.
• 적응적 위임 모델은 DM 편향에 대응하고 전반적인 성능을 개선하기 위해 하위그룹별 위임 비율을 조정할 수 있다.
• DM의 신뢰 가능한 하위그룹에서 더 많이, 불신뢰 하위그룹에서 덜 위임하는 것이 하위그룹 정확도와 공정성을 향상시킨다.
• DM가 일관되지 않거나 편향되어도 이 접근 방식은 이로운 것으로 남으며 다수의 실험에서 기준선보다 성능이 좋다.
• DM이 일정한 손실을 가질 때 learning to defer와 rejection learning 간 동등성이 성립하여 learning to defer가 일반 프레임워크로 확인된다.
• 이 프레임워크는 후처리 임계값 설정이나 엔드 투 엔드 미분 가능 학습으로 구현될 수 있다.