[논문 리뷰] Strategic Recourse in Linear Classification.

Yatong Chen, Jialu Wang외 1명|arXiv (Cornell University)|2020. 10. 31.

Experimental Behavioral Economics Studies인용 수 9

한 줄 요약

이 논문은 선형 분류기의 메커니즘을 제안하여 개인이 특징을 유의미하게 개선하도록 전략적으로 유인함으로써 조작을 줄이고, 이중 단계 게임 모델을 사용한다. 높은 정확도를 유지하면서도 개선 방향에서 70–90%의 개인에게 복구 기회를 제공하며, 조작의 격차를 감소시킨다.

ABSTRACT

In algorithmic decision making, recourse refers to individuals' ability to systematically reverse an unfavorable decision made by an algorithm. Meanwhile, individuals subjected to a classification mechanism are incentivized to behave strategically in order to gain a system's approval. However, not all strategic behavior necessarily leads to adverse results: through appropriate mechanism design, strategic behavior can induce genuine improvement in an individual's qualifications. In this paper, we explore how to design a classifier that achieves high accuracy while providing recourse to strategic individuals so as to incentivize them to improve their features in non-manipulative ways. We capture these dynamics using a two-stage game: first, the mechanism designer publishes a classifier, with the goal of optimizing classification accuracy and providing recourse to incentivize individuals' improvement. Then, agents respond by potentially modifying their input features in order to obtain a favorable decision from the classifier, while trying to minimize the cost of making such modifications. Under this model, we provide analytical results characterizing the equilibrium strategies for both the mechanism designer and the agents. Our empirical results show the effectiveness of our mechanism in three real-world datasets: compared to a baseline classifier that only considers individuals' strategic behavior without explicitly incentivizing improvement, our algorithm can provide recourse to a much higher fraction of individuals in the direction of improvement while maintaining relatively high prediction accuracy. We also show that our algorithm can effectively mitigate disparities caused by differences in manipulation costs. Our results provide insights for designing a machine learning model that focuses not only on the static distribution as of now, but also tries to encourage future improvement.

연구 동기 및 목표

• 높은 예측 정확도를 유지하면서도 전략적 개인이 의미 있는 특징 개선을 통해 복구 기회를 얻을 수 있도록 분류기를 설계하는 것.
• 메커니즘 설계자와 전략적 에이전트 간의 상호작용을 이중 단계 게임으로 모델링하여 특징 수정의 인cent리브와 비용을 포괄하는 것.
• 특정 인구 집단에서 조작 비용이 높을 경우 발생하는 격차를 줄이기 위해 장기적 개선과 인센티브를 일치시키는 것.
• 제안된 메커니즘이 기준선 분류기보다 복구 기회를 더 잘 제공하면서도 정확도를 유지하는지 실증적으로 검증하는 것.

제안 방법

• 이중 단계 게임을 정형화함: 첫 번째 단계에서 분류기가 공개되고, 두 번째 단계에서 개인들이 최소 비용으로 유리한 결과를 얻기 위해 특징을 수정함.
• 개인의 행동을 유리한 분류 결과를 달성하는 조건 하에 비용 최소화 문제로 모델링함.
• 선형 분류 하에서 게임 이론적 분석을 통해 메커니즘 설계자와 에이전트의 균형 전략을 유도함.
• 복구 유인 목적을 분류기 최적화에 통합하여 진정된 개선을 반영하는 특징 변화를 우선시함.
• 기본선이 개선 인센티브를 忽시하는 것을 가정하여, 세 개의 실세계 데이터셋에서 메커니즘을 실증적으로 평가함.
• 분석적 및 실증적 검증을 통해 다양한 비용 구조에서 복구 비율, 정확도, 공정성의 비교 분석을 수행함.

실험 결과

연구 질문

• RQ1 어떻게 하면 복구 기회를 제공하면서도 개인들이 특징을 조작하기보다는 진정된 개선을 하도록 설계할 수 있는가?
• RQ2 분류기 설계자와 전략적 개인 간의 이중 단계 게임에서 어떤 균형 전략이 도출되는가?
• RQ3 제안된 메커니즘이 개인 간 조작 비용 격차로 인한 격차를 어느 정도 줄일 수 있는가?
• RQ4 실세계 데이터에서 제안된 메커니즘은 정확도와 복구 제공 측면에서 기준선 분류기와 어떻게 비교되는가?

주요 결과

• 제안된 메커니즘은 기준선 대비 훨씬 더 높은 비율의 개인—70–90%—에게 진정된 특징 개선 방향에서 복구 기회를 제공한다.
• 메커니즘은 표준 분류기와 비교해도 정확도가 크게 떨어지지 않으며, 높은 예측 정확도를 유지한다.
• 불균형한 조작 비용으로 인한 격차를 효과적으로 완화하며, 특히 일부 민족 집단에서 비용이 높을 경우에 특히 유의미한 개선을 이룬다.
• 세 개의 실세계 데이터셋에 대한 실증 결과는 메커니즘이 복구 제공과 공정성 측면에서 기준선을 능가함을 확인한다.
• 분석 결과는 에이전트와 설계자 모두의 균형 행동을 특성화하며, 전략적 인센티브가 장기적 개선과 일치시킬 수 있음을 보여준다.
• 설계의 의도대로 메커니즘이 개인의 행동을 조작에서 의미 있는 자기를 개선으로 전환시키는데 성공한다.