[논문 리뷰] Strategic Instrumental Variable Regression: Recovering Causal Relationships From Strategic Responses

Keegan Harris, Dung Daniel T. Ngo외 3명|arXiv (Cornell University)|2021. 07. 12.

Experimental Behavioral Economics Studies참고 문헌 40인용 수 5

한 줄 요약

이 논문은 기계학습에서 모델 업데이트에 대한 전략적 반응을 도구변수로 활용하여 인과관계를 복원하는 새로운 방법을 제안한다. 배포된 모델을 관측 가능한 특징에 영향을 주지만 결과에 직접적인 영향을 주지 않는 도구로 간주함으로써, 관측되지 않은 혼동요인 존재하더라도 인과추론이 가능해지며, 이는 결론 시스템의 공정성, 결과 및 예측 위험을 향상시킨다.

ABSTRACT

In settings where Machine Learning (ML) algorithms automate or inform consequential decisions about people, individual decision subjects are often incentivized to strategically modify their observable attributes to receive more favorable predictions. As a result, the distribution the assessment rule is trained on may differ from the one it operates on in deployment. While such distribution shifts, in general, can hinder accurate predictions, our work identifies a unique opportunity associated with shifts due to strategic responses: We show that we can use strategic responses effectively to recover causal relationships between the observable features and outcomes we wish to predict, even under the presence of unobserved confounding variables. Specifically, our work establishes a novel connection between strategic responses to ML models and instrumental variable (IV) regression by observing that the sequence of deployed models can be viewed as an instrument that affects agents' observable features but does not directly influence their outcomes. We show that our causal recovery method can be utilized to improve decision-making across several important criteria: individual fairness, agent outcomes, and predictive risk. In particular, we show that if decision subjects differ in their ability to modify non-causal attributes, any decision rule deviating from the causal coefficients can lead to (potentially unbounded) individual-level unfairness.

연구 동기 및 목표

• 예측 모델에 대응하여 개인이 관측 가능한 특징을 전략적으로 수정하는 상황에서 기계학습에서의 인과추론 문제를 해결하기 위해.
• 고위험 결론 시스템에서 특징과 결과 간의 인과관계를 왜곡하는 관측되지 않은 혼동요인을 보정하기 위해.
• 배포된 모델의 순서를 진정한 인과계수를 복원하기 위한 유효한 도구로 활용하는 방법을 개발하기 위해.
• 결론 규칙이 진정한 인과관계와 일치하도록 보장함으로써 개인의 공정성, 에이전트의 결과 및 예측 위험을 향상시키기 위해.
• 전략적 반응 능력이 그룹 간으로 다를 때 인과계수에서 벗어나면 개인 수준의 불공정성이 무한히 증가할 수 있음을 보여주기 위해.

제안 방법

• 이 방법은 배포된 평가 규칙의 순서를 전략적 반응의 함수로 모델링하며, 이러한 규칙을 도구변수로 간주한다.
• 모델의 순서가 에이전트의 관측 가능한 특징에 영향을 주지만 결과에 직접적인 영향을 주지 않는다고 가정함으로써, 도구변수 회귀의 배제제약 조건을 만족시킨다.
• 이중 최소제곱법(2SLS) 회귀를 통해 인과계수를 복원하며, 모델 순서를 도구변수로, 관측 가능한 특징을 내생적 회귀변수로 사용한다.
• 도구변수가 이러한 혼동요인과 독립이 되도록 하여, 관측되지 않은 혼동요인을 잠재변수로 모델링함으로써 혼동요인의 영향을 보정한다.
• 이 프레임워크는 단순화된 대학 입학 설정에서 검증되었으며, 신용 평가 및 사고 위험 예측으로 확장되어 다양한 도메인에서의 강건성을 입증하였다.
• 이론적 분석을 통해 비인과결론 규칙을 사용할 경우 전략적 반응 능력이 그룹 간으로 다를 때 무한한 불공정성이 발생할 수 있음을 확인하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델에 대한 전략적 반응을 활용하여 관측 가능한 특징과 결과 간의 인과관계를 복원할 수 있는가?
• RQ2 관측되지 않은 혼동요인이 존재하는 상황에서, 배포된 모델의 순서가 유효한 도구변수로 기능할 수 있는 조건은 무엇인가?
• RQ3 전략적 반응을 통한 인과복원은 결론 시스템에서 공정성, 에이전트 결과 및 예측 위험을 어떻게 향상시키는가?
• RQ4 개인이 비인과적 특징을 수정할 능력이 다를 때 비인과결론 규칙을 사용하면 어떤 결과가 초래되는가?
• RQ5 이 방법은 대학 입학 및 신용 평가와 같은 실생활 응용에 일반화될 수 있는가?

주요 결과

• 배포된 모델의 순서는 관측되지 않은 혼동요인이 특징과 결과에 모두 영향을 주는 상황에서도 유효한 도구로 작용하여 인과관계 복원이 가능하다.
• 비인과결론 규칙을 사용할 경우, 에이전트 간 전략적 반응 능력이 다를 경우 개인 수준의 불공정성이 무한히 증가할 수 있다.
• 제안된 방법은 비인과적 상관관계가 아닌 진정한 인과관계에 기반한 결론 규칙을 적용함으로써 개인의 공정성을 향상시킨다.
• 1차원 시뮬레이션에서, 이론적 인과계수 θ* = 1을 성공적으로 복원하였으며, 이는 혼동과 전략적 조작이 존재하는 데이터로 학습된 모델에서도 성립한다.
• 전략적 행동에 의해 발생하는 분포 이동 상황에서 표준 예측 모델보다 이 방법이 더 강건함을 입증하였다.
• 이론적 분석을 통해 모델 업데이트에 사용되는 기울기가 특징이 모델에 내생적으로 의존하는 것을 고려하지 않을 경우 잘못된 최적화 방향을 유도할 수 있음을 확인하였다.