[논문 리뷰] Strategic Classification is Causal Modeling in Disguise

John A. Miller, Smitha Milli외 1명|arXiv (Cornell University)|2019. 10. 23.

Experimental Behavioral Economics Studies참고 문헌 32인용 수 22

한 줄 요약

이 논문은 전략적 분류를 가면을 쓴 인과 모델링으로 프레임워크화하며, 진정한 개선을 유도하는 것—게이밍을 방지하는 것—을 위한 분류기 설계가 비트레이스러운 인과 추론 문제를 해결해야 한다고 보여준다. 이는 성공적인 인centive 설계가 본질적으로 인과적 구조 탐색을 수반해야 한다는 것을 증명하며, 이는 이전의 전략적 분류 연구가 암묵적으로 인과적 사고에 의존하고 있음을 드러낸다.

ABSTRACT

Consequential decision-making incentivizes individuals to strategically adapt their behavior to the specifics of the decision rule. While a long line of work has viewed strategic adaptation as gaming and attempted to mitigate its effects, recent work has instead sought to design classifiers that incentivize individuals to improve a desired quality. Key to both accounts is a cost function that dictates which adaptations are rational to undertake. In this work, we develop a causal framework for strategic adaptation. Our causal perspective clearly distinguishes between gaming and improvement and reveals an important obstacle to incentive design. We prove any procedure for designing classifiers that incentivize improvement must inevitably solve a non-trivial causal inference problem. Moreover, we show a similar result holds for designing cost functions that satisfy the requirements of previous work. With the benefit of hindsight, our results show much of the prior work on strategic classification is causal modeling in disguise.

연구 동기 및 목표

• 전략적 분류에서 게이밍(결과를 변화시키지 않고 예측을 조작하는 것)과 개선(실제 결과를 변화시키는 것)을 공식적으로 구분하는 것.
• 진정한 개선을 유도하는 분류기 설계가 비트레이스러운 인과 추론 문제를 해결해야 한다는 것을 보여주는 것.
• 전략적 분류를 위한 결과 단조성(cost function)을 구성하는 것도 또한 인과 모델링을 필요로 한다는 것을 보여주는 것.
• 인과 그래프 탐색 문제에서 인센티브 설계 문제로의 공식적 감소(reduction)를 수립하여, 인과적 사고가 피할 수 없다는 것을 증명하는 것.

제안 방법

• 개개인의 적응을 구조적 인과 모델(Structural Causal Model, SCM)에서의 간섭으로 모델링하는 인과 프레임워크를 개발하며, 이 모델은 특징 $X$, 예측자 $\hat{Y}$, 목표 $Y$를 포함한다.
• 대체적 상황(reasoning)을 사용하여 개선을 진짜 레이블 $Y$를 증가시키는 간섭으로 정의하며, 이는 게이밍이 오직 $\hat{Y}$에만 영향을 미친다는 점과 대비된다.
• 인과 프레임워크에서 개선의 형식적 유사체로 '치료의 영향을 받는 자에게 미치는 영향' 개념을 도입한다.
• 어떤 방법이 개선을 유도하려면 계산적으로 효율적인 감소를 통해 인과 구조 탐색 문제를 해결해야 한다는 것을 증명한다.
• 인과 그래프 방향성 문제에서 결과 단조성(cost function) 문제로의 감소를 구성하여, 두 문제의 계산 난이도가 동등하다는 것을 보여준다.
• 선형 구조 방정식을 가진 예시 모델을 사용하여, 비용 함수 평가가 인과적 특징과 계수의 부호를 식별하는 데 어떻게 사용될 수 있는지 설명한다.

실험 결과

연구 질문

• RQ1 전략적 분류에서 게이밍과 개선을 공식적으로 구분할 수 있는가?
• RQ2 진정한 개선을 유도하는 분류기 설계에서 인과 모델링이 피할 수 없는가?
• RQ3 결과 단조성 비용 함수 문제를 인과 탐색 문제로 감소시킬 수 있는가?
• RQ4 인센티브 설계와 인과적 구조 학습 간의 계산적 관계는 무엇인가?
• RQ5 비용 함수는 특징과 레이블 간의 인과 관계를 어떻게 추론하는 데 사용될 수 있는가?

주요 결과

• 인과 그래프 탐색 문제에서 인센티브 설계 문제로의 감소를 통해, 성공적으로 개선을 유도하는 모든 방법이 비트레이스러운 인과 추론 문제를 해결해야 한다는 것이 입증되었다.
• 이전 요구 조건을 충족하는 결과 단조성 비용 함수를 설계하는 것도 또한 인과 추론 문제를 해결해야 한다는 것이 감소를 통해 입증되었다.
• 인과 프레임워크는 개선을 진짜 레이블 $Y$의 대체적 값이 증가하는 간섭으로 공식적으로 정의하며, 이는 게이밍이 오직 $\hat{Y}$에만 영향을 미친다는 점과 명백히 대비된다.
• 인과적 특징 $n$개와 비인과적 특징 $m$개를 가진 선형 모델에서, $2(n+m)$회의 비용 함수 평가로 인과적 특징과 그 계수의 부호를 식별하는 데 충분하다.
• 인과 그래프에서 간선 $X_i \to X_j$의 방향성은 결과 단조성 비용 오라클에 대한 단일 호출을 통해 결정될 수 있으며, 이는 비용 함수 쿼리와 인과적 구조 사이에 직접적인 연결을 수립한다.
• 결과적으로, 이 연구는 전략적 분류에 관한 이전 연구들이 비록 명시적으로 인과적이지는 않지만, 암묵적으로 인과적 사고에 의존하고 있음을 보여주며, 이는 '가면을 쓴 인과 모델링'임을 드러낸다.