[논문 리뷰] Strategic Classification with a Light Touch: Learning Classifiers that Incentivize Constructive Adaptation

Yatong Chen, Jialu Wang외 1명|arXiv (Cornell University)|2020. 10. 31.

Reinforcement Learning in Robotics참고 문헌 17인용 수 7

한 줄 요약

이 논문은 개인이 예측에 영향을 주기 위해 특징을 조작하는 대신 건설적으로 특징을 변화시키도록 유도하는 게임 이론적 프레임워크를 제안한다. 예측과 적응을 두 단계 게임으로 모델링하며, 모델의 잘못된 특정화 조건 하에서도 성능 향상과 일반화 능력 향상을 경험적으로 입증한다.

ABSTRACT

Machine learning systems are often deployed in settings where individuals are able to adapt their features to obtain a specific predicted outcome. This kind of strategic behavior leads to a sharp loss in model performance in deployment. In this work, we aim to address this problem by learning classifiers that incentivize their decision subjects to change their features in a way that benefits all parties. We frame the dynamics of prediction and adaptation as a two-stage game and characterize equilibrium strategies for the model owner and its decision subjects. We benchmark our method on simulated and real-world datasets to demonstrate how it can be used to incentivize improvement or discourage adversarial manipulation. Our empirical results show that our method outperforms existing approaches, even when our assumptions may be misspecified.

연구 동기 및 목표

• 개인의 전략적 행동으로 인한 모델 성능 저하 문제를 해결하기 위해.
• 개인의 인centives를 유익한 특징 변화와 일치시켜 개인과 시스템 수준의 성능 향상을 촉진하는 분류기 설계를 위해.
• 모델 소유주와 의사결정 대상자 간의 상호작용을 두 단계 게임으로 모델링하고, 양측의 균형 전략을 규명하기 위해.
• 모의 및 실세계 데이터셋에서 방법을 평가하여, 모델의 잘못된 특정화에 대해 강건하며 기존 접근법을 능가하는 성능을 보여주기 위해.

제안 방법

• 전략적 분류 문제를 두 단계 게임으로 공식화: 첫째, 모델 소유주는 분류기를 설계하고, 둘째, 개인들은 자신의 예측 결과를 향상시키기 위해 전략적으로 특징을 조정한다.
• 개인의 적응을 목적함 최대화 문제로 모델링하여, 대상자가 결과를 향상시키기 위해 특징을 변경하도록 하되, 부적절한 변화에 대해 비용 함수를 통해 제재를 둔다.
• 게임 이론적 분석을 통해 모델 소유주와 의사결정 대상자 양측의 균형 전략을 유도하여, 분류기가 건설적인 적응을 유도하도록 보장한다.
• 개인의 예측된 균형 행동을 포함하는 미분 가능한 목표 함수를 사용해 분류기를 학습시켜 종단 간 훈련을 가능하게 한다.
• 작은, 긍정적인 변화에 과도하게 페널티를 주지 않고, 모든 당사자가 이득을 볼 수 있는 개선을 장려하는 경량 접근 방식을 사용한다.

실험 결과

연구 질문

• RQ1 어떻게 분류기를 설계하여 개인이 자신과 모델 모두에게 유익한 방식으로 특징을 개선하도록 할 수 있는가?
• RQ2 모델 소유주와 전략적 의사결정 대상자 간의 두 단계 게임에서 어떤 균형 전략이 도출되는가?
• RQ3 개인 행동에 대한 가정이 잘못되었을 때에도, 분류기가 전략적 적응 상황에서 성능을 유지할 수 있는가?
• RQ4 기존 접근법과 비교해 본다면, 제안된 방법은 정확도와 조작에 대한 강건성 측면에서 어떻게 다른가?

주요 결과

• 기본적인 개인 행동에 대한 가정이 잘못되었을 경우에도, 제안된 방법은 기존 접근법보다 전략적 적응 상황에서 모델 성능을 유지하는 데 뛰어난 성능을 보였다.
• 분류기는 개인이 특징을 건설적으로 변화시키도록 효과적으로 유도하여 전체 시스템 성능 향상을 이끌어냈다.
• 모의 및 실세계 데이터셋에 대한 경험적 결과는, 이 방법이 잘 일반화되며 구현 시 높은 예측 정확도를 유지함을 보여주었다.
• 게임 이론적 균형 분석을 통해 개인의 인센티브를 집단적 이익과 일치시키는 분류기 설계가 가능해졌으며, 이는 악성 조작을 줄이는 데 기여했다.