[논문 리뷰] Causal Strategic Linear Regression

Yonadav Shavit, Benjamin Edelman외 1명|arXiv (Cornell University)|2020. 02. 24.

Machine Learning and Algorithms참고 문헌 33인용 수 5

한 줄 요약

이 논문은 의사결정자가 규칙을 테스트하고 기여자들의 전략적 반응을 관찰함으로써 최적의 의사결정 규칙을 학습하는 인과 전략 선형 회귀를 제안한다. 규칙 변화를 인과적 간섭으로 간주함으로써, 저자들은 예측 정확도 향상, 기여자 결과 최적화, 진정한 모수 추정을 동시에 최적화하는 효율적인 알고리즘을 개발한다. 이는 기여자들의 전략적 행동 상황에서 이전의 난이도 결과를 극복하기 위해 기여자들과의 능동적 실험을 통해 달성된다.

ABSTRACT

In many predictive decision-making scenarios, such as credit scoring and academic testing, a decision-maker must construct a model that accounts for agents' propensity to "game" the decision rule by changing their features so as to receive better decisions. Whereas the strategic classification literature has previously assumed that agents' outcomes are not causally affected by their features (and thus that strategic agents' goal is deceiving the decision-maker), we join concurrent work in modeling agents' outcomes as a function of their changeable attributes. As our main contribution, we provide efficient algorithms for learning decision rules that optimize three distinct decision-maker objectives in a realizable linear setting: accurately predicting agents' post-gaming outcomes (prediction risk minimization), incentivizing agents to improve these outcomes (agent outcome maximization), and estimating the coefficients of the true underlying model (parameter estimation). Our algorithms circumvent a hardness result of Miller et al. (2020) by allowing the decision maker to test a sequence of decision rules and observe agents' responses, in effect performing causal interventions through the decision rules.

연구 동기 및 목표

• 기여자들이 자신의 특징을 변경하여 결과를 개선하기 위해 행동하는 상황에서 이를 고려한 의사결정 규칙을 설계하는 데 도전한다.
• 밀러 등(2020)의 난이도 결과를 극복하기 위해 의사결정 규칙을 능동적으로 테스트함으로써 인과적 추론을 가능하게 한다.
• 세 가지 별도의 목표를 최적화한다: 예측 위험 최소화, 기여자 결과 최대화, 진정한 인과 모수 정확한 추정.
• 관측되지 않은 특징이 표준 회귀에서 심각한 편향을 유발함을 보여주며, 특히 전략적 행동 상황에서 그러한 영향이 크다.
• 기여자의 전략적 반응을 인과적 간섭으로 활용하여 모델 학습과 의사결정을 향상시키는 알고리즘을 개발한다.

제안 방법

• 의사결정자는 반복적으로 다양한 의사결정 규칙 ω를 테스트하고 기여자들의 특징 변화와 진정한 결과를 관찰하며, 각 규칙을 인과적 간섭으로 간주한다.
• 예측 위험 최소화를 위해, 이 방법은 후기 게이밍 결과에 대한 기대 제곱 오차를 최소화하는 ω를 학습하기 위해 볼록 최적화 프레임워크를 사용한다.
• 기여자 결과 최대화를 위해, 알고리즘은 전략적 반응 하에서 기대 결과를 최대화하는 ω를 찾으며, ω에 대한 선형성에 기반한다.
• 모수 추정을 위해, 방법은 초기 특징 공분산 Σ와 액션 행렬 그람ian G=MM^T를 먼저 추정한 후, 게이밍 이후 두 번째 모멘트 행렬의 최소 고유값을 최대화하는 ω를 선택한다.
• 알고리즘은 최적의 ω 하에서 수집된 데이터에 대해 OLS를 사용하며, 이는 설계 행렬의 최소 고유값을 증가시켜 수렴 속도를 향상시킨다.
• 이 접근법은 특징을 완전히 볼 수 있다고 가정하며(즉, V=I), 기여자가 노름 제곱 비용으로 선형적으로 반응한다고 가정함으로써 ω*의 정확한 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 기여자들이 자신의 특징을 전략적으로 변경하는 상황에서, 의사결정자는 게이밍 이후 결과를 정확히 예측할 수 있는 의사결정 규칙을 학습할 수 있는가?
• RQ2 의사결정자는 예측 정확도를 유지하면서 기여자의 진정한 결과를 최대화할 수 있는 규칙을 어떻게 설계할 수 있는가?
• RQ3 관측되지 않은, 결과에 영향을 주는 특징이 전략적 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ4 관측 데이터의 한계가 존재하는 상황에서도, 규칙 변화를 간섭으로 간주함으로써 전략적 환경에서 인과적 추론을 달성할 수 있는가?
• RQ5 기여자의 전략적 행동 하에서 진정한 인과 모델 모수 ω*의 일致한 추정이 가능해지는 조건은 무엇인가?

주요 결과

• 제안된 알고리즘은 인과적 간섭으로서의 능동적 규칙 테스트를 통해 밀러 등(2020)의 난이도 결과를 우회한다.
• 예측 위험 최소화와 기여자 결과 최대화 목표는 모두 ω에 대해 볼록이므로, 표준 볼록 최적화 솔버를 통해 효율적으로 최적화할 수 있다.
• 모든 특징이 가시할 경우(V=I)와 액션 행렬이 전체 특징 공간 탐색을 가능하게 할 경우, ω*의 모수 추정은 임의의 정밀도로 가능하다.
• 게이밍 이후 두 번째 모멘트 행렬의 최소 고유값을 최대화하도록 ω를 선택함으로써 OLS의 수렴 속도가 향상되며, 이는 데이터의 정보량을 증가시킨다.
• 관측되지 않은 결과 영향 특징을 생략하면 생략 변수 편향이 발생하여, 게이밍 상황에서 붕괴하는 비인과적 가시 특징을 보상하는 예측자가 발생한다.
• 특징이 완전히 가시하고 시스템이 식별 가능할 경우, ω*를 추정하는 데 약 Õ(d) 라운드가 필요하다.