[논문 리뷰] Algorithmic Decision Making in the Presence of Unmeasured Confounding

Jongbin Jung, Ravi Shroff외 2명|arXiv (Cornell University)|2018. 05. 04.

Advanced Causal Inference Techniques참고 문헌 33인용 수 14

한 줄 요약

이 논문은 측정되지 않은 혼동요인 존재 하에서 알고리즘 의사결정 정책을 평가하기 위한 유연한 베이지안 민감도 분석 프레임워크를 제안한다. 이는 무시 가능성이 성립하지 않을 경우에도 강건한 정책 평가와 거의 최적의 정책 구성이 가능하게 한다. 이는 이질적 치료 효과 추정을 일반화하고, 합성 및 실제 사법 보석 데이터셋에서 뛰어난 성능을 보이며, 전통적인 민감도 분석 방법을 능가하며, 측정되지 않은 혼동요인이 존재하더라도 위험 순위가 정확하게 유지됨을 보여준다.

ABSTRACT

On a variety of complex decision-making tasks, from doctors prescribing treatment to judges setting bail, machine learning algorithms have been shown to outperform expert human judgments. One complication, however, is that it is often difficult to anticipate the effects of algorithmic policies prior to deployment, making the decision to adopt them risky. In particular, one generally cannot use historical data to directly observe what would have happened had the actions recommended by the algorithm been taken. One standard strategy is to model potential outcomes for alternative decisions assuming that there are no unmeasured confounders (i.e., to assume ignorability). But if this ignorability assumption is violated, the predicted and actual effects of an algorithmic policy can diverge sharply. In this paper we present a flexible, Bayesian approach to gauge the sensitivity of predicted policy outcomes to unmeasured confounders. We show that this policy evaluation problem is a generalization of estimating heterogeneous treatment effects in observational studies, and so our methods can immediately be applied to that setting. Finally, we show, both theoretically and empirically, that under certain conditions it is possible to construct near-optimal algorithmic policies even when ignorability is violated. We demonstrate the efficacy of our methods on a large dataset of judicial actions, in which one must decide whether defendants awaiting trial should be required to pay bail or can be released without payment.

연구 동기 및 목표

• 관찰 데이터에서 측정되지 않은 혼동요인이 반사적 결과 추정을 편향시킬 때 알고리즘 정책을 평가하는 데 도전하는 문제를 해결하기 위해.
• 명시적인 민감도 매개변수를 요구하지 않고도 측정되지 않은 혼동요인에 의한 정책 결과의 민감도를 정량화하는, 민감도가 높고 베이지안 기반의 접근법을 개발하기 위해.
• 무시 가능성 위반이나 발생하더라도 정확한 위험 추정이 아니라 위험 순위 정확도에 초점을 맞춰 거의 최적의 의사결정 정책을 구성할 수 있음을 보여주기 위해.
• 관찰 연구에서 이질적 치료 효과 추정으로 이 방법을 일반화하여, 정책 평가를 넘어서 적용 범위를 넓히기 위해.
• 대규모 합성 사법 보석 결정 데이터셋에서 이론적 검증을 수행하여, 측정되지 않은 혼동요인에 대해 강건함을 입증하기 위해.

제안 방법

• 이 방법은 약한 정보성 사전 분포와 표현력이 풍부한 데이터 생성 과정을 통해 측정되지 않은 혼동요인을 고려하면서 잠재 결과를 동시에 추정하기 위해 베이지안 계층 모델을 사용한다.
• 해석적으로 계산이 어려운 문제를 피하기 위해 블랙박스 베이지안 추론(예: 변분 추론)을 사용하여 사후 분포를 계산한다.
• 이 프레임워크는 치료 배정과 잠재 결과를 동시에 모델링하여, 타당한 측정되지 않은 혼동요인의 구조에 대한 민감도 분석이 가능하게 한다.
• 적절한 우도 함수와 링크 함수를 설정함으로써 이 방법은 연속형, 이항형 또는 다항형 치료 및 결과로 일반화될 수 있다.
• 측정되지 않은 혼동요인 효과에 대한 사전 분포를 통해 민감도를 정량화하며, 고정된 민감도 매개변수를 요구하지 않는 도메인 지식을 통합한다.
• 사후 예측 분포를 사용하여 다양한 결정 규칙 하에서 반사적 결과를 시뮬레이션함으로써 이 방법은 오프라인 정책 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 측정되지 않은 혼동요인이 존재하더라도 무시 가능성 가정 없이 알고리즘 정책의 영향을 평가할 수 있는가?
• RQ2 무시 가능성 위반이 발생할 경우 얼마나 높은 수준의 거의 최적의 의사결정 규칙을 구성할 수 있는가?
• RQ3 제안된 베이지안 민감도 분석은 정확도와 강건성 측면에서 전통적인 비베이지안 민감도 분석 방법보다 어떻게 비교되는가?
• RQ4 정책 구성에 핵심적인 위험 순위화가 측정되지 않은 혼동요인으로 인해 진짜 위험 추정이 편향되더라도 정확하게 유지될 수 있는가?
• RQ5 이 방법은 관찰 연구에서 이질적 치료 효과 추정으로 일반화될 수 있는가?

주요 결과

• 합성 데이터셋에서 측정되지 않은 혼동요인이 존재하더라도 베이지안 민감도 분석 방법은 진짜 정책 효과와 하위군 수준의 치료 효과를 정확하게 복원하며, 전통적인 비베이지안 민감도 기법보다 뛰어난 성능을 보였다.
• 모든 테스트 조건에서 전체 반사적 지식이 없는 관측 결과만을 사용한 정책는 진짜 최적의 정책와 거의 동일했으며, 이는 측정되지 않은 혼동요인에 대해 강건함을 시사한다.
• 무시 가능성 위반이나 발생하더라도 정확한 위험 추정 없이도 거의 최적의 의사결정 규칙을 성공적으로 복원했으며, 이는 정확한 위험 순위 정확도가 완벽한 위험 추정 없이도 가능함을 보여준다.
• 특수한 ATE 사례에 적용했을 때도 평균 치료 효과 추정에 특화된 최첨단 방법보다 성능이 뛰어났다.
• 약한 정보성 사전 분포와 민감도가 높은 모델 형태를 사용함으로써, 사전 지식와 불확실성 간의 균형을 유지할 수 있었으며, 명시적인 민감도 매개변수 설정이 필요 없었다.
• 블랙박스 추론 덕분에 연속형 또는 다항형과 같은 복잡한 치료 및 결과 유형으로의 일반화가 최소한의 모델링 오버헤드로 가능했다.