[논문 리뷰] Competing Prediction Algorithms

Omer Ben-Porat, Moshe Tennenholtz|arXiv (Cornell University)|2018. 06. 05.

Auction Theory and Applications참고 문헌 18인용 수 3

한 줄 요약

이 논문은 사용자 선택을 극대화하기 위해 전략적으로 예측을 최적화하는 예측 알고리즘 간의 경쟁을 다루는 PAC-학습 설정에서 게임 이론적 프레임워크를 제안한다. 연구는 경험 게임에서 순수 뇌셔 균형(PNE)이 항상 존재하며, 작은 수의 샘플을 사용해도 높은 확률로 근사 PNE로 수렴하는 보다 나은 반응 동역학(better-response dynamics)이 존재함을 증명한다.

ABSTRACT

Prediction is a well-studied machine learning task, and prediction algorithms are core ingredients in online products and services. Despite their centrality in the competition between online companies who offer prediction-based products, the strategic use of prediction algorithms remains unexplored. The goal of this paper is to examine strategic use of prediction algorithms. We introduce a novel game-theoretic setting that is based on the PAC learning framework, where each player (aka a prediction algorithm at competition) seeks to maximize the sum of points for which it produces an accurate prediction and the others do not. We show that algorithms aiming at generalization may wittingly miss-predict some points to perform better than others on expectation. We analyze the empirical game, i.e. the game induced on a given sample, prove that it always possesses a pure Nash equilibrium, and show that every better-response learning process converges. Moreover, our learning-theoretic analysis suggests that players can, with high probability, learn an approximate pure Nash equilibrium for the whole population using a small number of samples.

연구 동기 및 목표

• 사용자 선택에 따라 예측 정확도를 놓고 경쟁하는 온라인 환경에서 예측 알고리즘의 전략적 행동을 연구한다.
• 사용자가 여러 제안 중에서 가장 적합한 제품을 선택하는 데 따라 수익이 결정되는 게임으로서 예측 알고리즘 간의 경쟁을 모델링한다.
• 이러한 게임에서 순수 뇌셔 균형이 존재하는지, 그리고 학습 동역학이 근사 균형으로 효율적으로 수렴하는지 조사한다.
• 경험 균형이 전체 인구 분포로 일반화되는지 분석하며, 특히 가설 클래스의 용량이 유한하거나 무한한 경우를 고려한다.

제안 방법

• 각 플레이어의 전략이 사용자 인스턴스에 대한 예측 함수인 PAC 학습 프레임워크에 기반한 게임 이론적 모델을 정식화한다.
• 플레이어의 수익은 그녀의 제품을 선택하는 사용자 수의 기대값으로 정의되며, 사용자는 수용 가능 범위 내의 모든 제품 중에서 균일하게 무작위로 선택한다.
• 유한한 의사차원(pseudo-dimension) 조건 하에서 모든 전략 프로파일에 대해 경험 수익이 진정 수익으로 균일 수렴함을 증명하여 경험 추정의 신뢰성을 확보한다.
• 유한 샘플에 의해 유도된 모든 경험 게임은 전략적 잘못 예측이 있더라도 순수 뇌셔 균형을 항상 갖는다.
• 표본 기반 학습을 통해 다항 시간 내에 고확률로 근사 PNE로 수렴하는 보다 나은 반응 동역학의 수렴성을 입증한다.
• 무한 용량 설정에서 균형의 학습 불가능성을 분석하며, 경험 PNE가 전체 인구에 대해 일반화되지 않을 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 PAC 학습 프레임워크 하에서 경쟁 예측 알고리즘의 게임에서 순수 뇌셔 균형이 존재하는가?
• RQ2 기본 분포로부터 작은 수의 샘플만을 사용해도 플레이어들이 근사 순수 뇌셔 균형을 효율적으로 학습할 수 있는가?
• RQ3 이러한 전략적 예측 환경에서 보다 나은 반응 동역학은 근사 PNE로 수렴하는가?
• RQ4 경험 순수 뇌셔 균형이 전체 인구에서 근사 순수 뇌셔 균형으로 일반화되는 조건은 무엇인가?
• RQ5 의도적으로 예측을 빠뜨려 경쟁자를 능가하고자 하는 전략적 잘못 예측은 균형 결과에 어떤 영향을 미치는가?

주요 결과

• 어떤 유한 샘플에 대해서든 경험 게임은 전략적 잘못 예측이 있더라도 항상 순수 뇌셔 균형을 갖는다.
• 표본 추출에 대해 고확률로 다항 시간 내에 보다 나은 반응 동역학이 근사 순수 뇌셔 균형으로 수렴한다.
• 전략 프로파일 전반에 걸쳐 수익의 균일 수렴 덕분에, 플레이어들은 작은 수의 샘플만으로도 전체 인구에 대한 근사 PNE를 학습할 수 있다.
• 유한한 의사차원 조건 하에서는 경험 수익이 진정 수익 주변으로 균일하게 집중되어 표본에서 신뢰할 수 있는 학습이 가능하다.
• 무한 용량 설정에서는 기저 분포가 알려져 있더라도 경험 PNE가 전체 인구에 대해 일반화되지 않을 가능성이 높다.
• 전략적 행동은 플레이어들이 분포와 다른 플레이어의 전략 공간을 완전히 알고 있음에도 불구하고 비최적의 개별 전략을 초래할 수 있다.