[논문 리뷰] Robust Design and Evaluation of Predictive Algorithms under Unobserved Confounding

Ashesh Rambachan, Amanda Coston외 1명|arXiv (Cornell University)|2022. 12. 19.

Financial Distress and Bankruptcy Prediction인용 수 4

한 줄 요약

이 논문은 관측되지 않은 혼동요인에 의해 선택적으로 관측된 데이터에서 예측 알고리즘을 설계하고 평가하기 위한 강건한 프레임워크를 제안한다. 이는 잠재 결과 차이에 대해 유연하고 공변수에 의존하는 경계를 사용한다. 성능 경계—예를 들어 평균제곱오차, 정확도, 거짓양성률—에 대한 편향이 제거된 머신러닝 추정기들을 개발하여, 강력한 파rametric 가정 없이도 관측되지 않은 혼동요인을 고려한 민감도 분석을 가능하게 한다.

ABSTRACT

Predictive algorithms inform consequential decisions in settings with selective labels: outcomes are observed only for units selected by past decision makers. This creates an identification problem under unobserved confounding -- when selected and unselected units differ in unobserved ways that affect outcomes. We propose a framework for robust design and evaluation of predictive algorithms that bounds how much outcomes may differ between selected and unselected units with the same observed characteristics. These bounds formalize common empirical strategies including proxy outcomes and instrumental variables. Our estimators work across bounding strategies and performance measures such as conditional likelihoods, mean square error, and true/false positive rates. Using administrative data from a large Australian financial institution, we show that varying confounding assumptions substantially affects credit risk predictions and fairness evaluations across income groups.

연구 동기 및 목표

• 인간의 의사결정으로 인해 결과가 선택적으로 관측될 때, 관측되지 않은 혼동요인이 선택과 결과에 모두 영향을 미치는 상황에서 예측 알고리즘을 평가하는 도전 과제를 해결한다.
• 기존 방법들이 선택이 무관시된다는 가정을 하거나 누락된 데이터에 대해 적절하지 않은 보정 전략에 의존한다는 한계를 극복한다.
• 일반적인 실증 전략—예를 들어 대체 결과 변수와 도구변수—를 부분 식별 접근법 내에서 체계화하는 일반적인 식별 프레임워크를 개발한다.
• 관측되지 않은 혼동요인에 대한 불확실성 하에서도 예측 성능 지표(예: MSE, 정확도, 거짓양성률)의 강건한 평가를 가능하게 한다.
• 연구자들이 관측되지 않은 혼동요인에 대한 다양한 합리적인 가정 하에서 결론이 어떻게 변화하는지 평가할 수 있도록 민감도 분석 프레임워크를 제공한다.

제안 방법

• 관측된 공변수와 식별된 부수적 매개변수 조건 하에서 선택된 단위와 선택되지 않은 단위 간 평균 잠재 결과 차이를 경계함으로써 식별 가정을 체계화한다.
• 잠재 결과의 평균 차이에 대한 일반적인 제약 조건을 사용하여, 이전 민감도 분석 방법을 공변수 조건부로 확장한다.
• 예측 성능 추정량의 경계에 대한 편향이 제거된 머신러닝 추정기들을 개발하여 渐近 정규성과 타당한 추론을 보장한다.
• 머신러닝 방법을 사용하여 비모수적 추정을 통해 부수적 함수(예: 선택 확률, 결과 회귀)를 탄력적으로 추정한다.
• 이중/편향이 제거된 추정을 적용하여 경계 추정에서의 편향을 감소시키고, 약한 규칙성 조건 하에서도 타당한 신뢰구간을 확보한다.
• 식별된 잠재 결과 차이를 바탕으로 평균제곱오차, 정확도, 거짓양성률 등의 성능 지표에 대한 경계를 구축한다.

실험 결과

연구 질문

• RQ1 관측되지 않은 혼동요인이 존재하여 결과가 선택된 단위에서만 관측될 경우, 예측 알고리즘은 어떻게 강건하게 평가할 수 있는가?
• RQ2 관측되지 않은 혼동요인에 대한 다양한 가정이 신용 평가에서의 기본 위험 예측과 공정성 지표에 어떤 영향을 미치는가?
• RQ3 선택적으로 관측된 데이터로부터 부분 식별을 통해 MSE와 정확도와 같은 성능 지표를 봉인할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ4 조건부 경계가 조건부가 아닌 경계에 비해 성능 평가의 정밀도와 해석 가능성에 어떻게 기여하는가?
• RQ5 표준 보정 전략(예: 대체 결과 변수, 도구변수)이 공식적인 부분 식별 프레임워크 내에 얼마나 잘 통합될 수 있는가?

주요 결과

• 제안된 방법은 식별 가정에 관측된 공변수를 탄력적으로 통합함으로써 예측 성능 지표에 대한 정보적인 경계를 생성한다.
• 경계에 대한 편향이 제거된 머신러닝 추정기들은 양호한 유한표본 성능을 보이며, 표본 크기가 500에서 2500인 범위에서 95% 신뢰구간의 실측 커버리지 비율이 93.4–95.0%를 기록한다.
• 오스트레일리아 금융 데이터셋에서 관측되지 않은 혼동요인에 대한 가정이 달라짐에 따라 기본 위험 예측과 민감한 그룹 간 신용 점수 평가의 이질성이 의미 있게 변화하였다.
• 이 프레임워크는 다양한 관측되지 않은 혼동요인 수준에 대한 합리적인 가정 하에서 결론이 어떻게 변화하는지 체계적으로 탐색할 수 있는 민감도 분석을 가능하게 한다.
• 이 방법은 대체 결과 변수와 도구변수와 같은 일반적인 실증 전략들을 하나의 일관된 부분 식별 프레임워크 내에서 일반화하고 체계화한다.
• 선택이 조건부로 무관시되지 않을 경우에도 예측 알고리즘의 강건한 평가를 가능하게 하여 강력한 무관시성 가정의 실용적 대안을 제공한다.