[논문 리뷰] Strategic Classification from Revealed Preferences

Jinshuo Dong, Aaron Roth외 3명|arXiv (Cornell University)|2017. 10. 22.

Advanced Bandit Algorithms Research참고 문헌 19인용 수 6

한 줄 요약

이 논문은 학습자가 진짜 특징이나 비용 함수에 대한 지식 없이 오직 조작된 특징(노출된 선호도)만 관측하는 전략적 분류를 위한 계산적으로 효율적인 온라인 학습 알고리즘을 제안한다. 손실 함수의 볼록성과 조건부 비용 함수에 대한 약한 조건을 활용하여 스택엘베르크 위험의 감소를 달성함으로써, 에이전트가 분류기에게 전략적으로 대응할 때조차 근사 최적의 성능으로 수렴함을 보장한다.

ABSTRACT

We study an online linear classification problem, in which the data is generated by strategic agents who manipulate their features in an effort to change the classification outcome. In rounds, the learner deploys a classifier, and an adversarially chosen agent arrives, possibly manipulating her features to optimally respond to the learner. The learner has no knowledge of the agents' utility functions or "real" features, which may vary widely across agents. Instead, the learner is only able to observe their "revealed preferences" --- i.e. the actual manipulated feature vectors they provide. For a broad family of agent cost functions, we give a computationally efficient learning algorithm that is able to obtain diminishing "Stackelberg regret" --- a form of policy regret that guarantees that the learner is obtaining loss nearly as small as that of the best classifier in hindsight, even allowing for the fact that agents will best-respond differently to the optimal classifier.

연구 동기 및 목표

• 학습자가 에이전트의 진짜 특징과 조작 비용에 대한 지식이 없는 설정에서 전략적 분류 문제를 다루는 것.
• 관측 가능한 것은 조작된 특징 벡터(노출된 선호도)뿐인 반복적인 온라인 절차로 학습 과정을 모델링하는 것.
• 에이전트의 전략적 최적 반응을 고려한 정책 위험 측정인 스택엘베르크 위험을 최소화하는 학습 알고리즘을 설계하는 것.
• 전략적 조작이 있음에도 불구하고 학습자의 손실 함수가 여전히 볼록성을 유지하는 조건을 규명하는 것.
• 에이전트가 적대적으로 선택되거나 i.i.d.가 아닐 경우에도 스택엘베르크 균형으로 수렴할 수 있도록 보장하는 것.

제안 방법

• 학습자는 각 라운드마다 분류기를 배포하고, 진짜 특징이나 비용 함수는 관측하지 않으며 오직 에이전트의 조작된 특징 벡터만 관측한다.
• 알고리즘은 에이전트의 효용에 대한 명시적 지식 없이도 노출된 선호도(즉, 최적 반응 행동)를 이용해 분류기를 반복적으로 갱신한다.
• 핵심 기술적 통찰은 비용 함수가 볼록하고 degree r > 1인 양의 동차성일 경우, β ↦ ⟨β, x̂(β)⟩ 함수가 볼록해지며, 이는 손실의 볼록성을 보장한다.
• 논문은 볼록 쌍대성 분석과 하향도 이론을 적용하여 최적 반응 맵핑이 잘 정의되고 볼록한 목표 함수를 유도함을 보여준다.
• 이 조건 하에서 로지스틱 손실과 허프 손실 모두 β에 대해 볼록임을 증명하여 표준 볼록 최적화 솔버를 통한 효율적 최적화를 가능하게 한다.
• 알고리즘은 감소하는 스택엘베르크 위험을 달성하여, 평균 손실이 과거의 최고 고정 분류기의 손실에 수렴함을 의미한다. 이는 전략적 행동을 고려한 결과이다.

실험 결과

연구 질문

• RQ1 조작 비용 함수에 어떤 조건이 성립할 경우, 전략적 에이전트 반응에도 불구하고 학습자의 손실 함수가 여전히 볼록성을 유지하는가?
• RQ2 에이전트의 효용이 알려져 있지 않고 노출된 선호도(조작된 특징)만 관측 가능한 상황에서 학습 알고리즘이 감소하는 스택엘베르크 위험을 달성할 수 있는가?
• RQ3 에이전트가 분류기에 대해 최적 반응을 보이는 전략적 환경에서 학습자의 정책 위험은 어떻게 상한을 구할 수 있는가?
• RQ4 비용 함수에 어떤 구조적 가정이 성립하면 최적 반응 맵핑이 잘 정의되고 볼록한 목표 함수를 학습자에게 제공하는가?
• RQ5 적대적으로 선택된 에이전트나 비 i.i.d. 데이터를 다룰 수 있는 프레임워크는 스택엘베르크 균형으로 수렴을 보장할 수 있는가?

주요 결과

• 논문은 비용 함수 d(𝐱′,𝐱) = f(𝐱′−𝐱)가 볼록하고 degree r > 1인 양의 동차성일 경우, 함수 β ↦ ⟨β, x̂(β)⟩가 볼록하고 잘 정의되어 있음을 입증한다. 이는 다수의 최적 반응이 존재하더라도 성립한다.
• 이 조건 하에서 로지스틱 손실과 허프 손실 모두 분류기 β에 대해 볼록 함수임을 보여주며, 이는 표준 볼록 최적화 솔버를 통한 효율적 최적화를 가능하게 한다.
• 제안된 온라인 학습 알고리즘은 감소하는 스택엘베르크 위험을 달성하여, 평균 손실이 과거의 최고 고정 분류기의 손실에 수렴함을 보장한다. 이는 전략적 조작을 고려한 결과이다.
• 이 결과는 에이전트가 적대적으로 선택되거나 진짜 특징과 비용 함수가 고정된 분포에서 유래하지 않을 경우에도 성립한다.
• 프레임워크는 이전의 일회성 스택엘베르크 균형 계산을 일반화하여 에이전트 효용 함수의 전부를 알 필요 없이도 가능하게 한다.
• 분석은 볼록 쌍대성 이론과 동차 볼록 함수에 대한 일반화된 오일러 정리에 기반한다.