[論文レビュー] Competing Prediction Algorithms

Omer Ben-Porat, Moshe Tennenholtz|arXiv (Cornell University)|Jun 5, 2018

Auction Theory and Applications参考文献 18被引用数 3

ひとこと要約

本稿は、PAC学習設定下における競合する予測アルゴリズムのゲーム理論的枠組みを提示し、ユーザー選択を最大化するために戦略的に予測を最適化するプレイヤーを扱う。実証的ゲームにおいて純粋ナッシュ均衡（PNE）が常に存在することを証明し、少数のサンプルで高い確率で近似PNEに収束する良い応答ダイナミクスを示している。

ABSTRACT

Prediction is a well-studied machine learning task, and prediction algorithms are core ingredients in online products and services. Despite their centrality in the competition between online companies who offer prediction-based products, the strategic use of prediction algorithms remains unexplored. The goal of this paper is to examine strategic use of prediction algorithms. We introduce a novel game-theoretic setting that is based on the PAC learning framework, where each player (aka a prediction algorithm at competition) seeks to maximize the sum of points for which it produces an accurate prediction and the others do not. We show that algorithms aiming at generalization may wittingly miss-predict some points to perform better than others on expectation. We analyze the empirical game, i.e. the game induced on a given sample, prove that it always possesses a pure Nash equilibrium, and show that every better-response learning process converges. Moreover, our learning-theoretic analysis suggests that players can, with high probability, learn an approximate pure Nash equilibrium for the whole population using a small number of samples.

研究の動機と目的

• ユーザー選択を予測精度に基づいてめぐる企業間の競争的オンライン環境における予測アルゴリズムの戦略的行動を調査すること。
• ユーザーが複数の提供物の中から最も適合する製品を選択するという条件のもと、予測アルゴリズムの競争を、報酬がその選択に依存するゲームとしてモデル化すること。
• このようなゲームにおいて純粋ナッシュ均衡が存在するかどうか、および学習ダイナミクスが近似均衡に効率的に収束するかどうかを調査すること。
• 特に有界および無限の仮説クラス容量の下で、実証的均衡が全集団分布に一般化するかどうかを分析すること。

提案手法

• 各プレイヤーの戦略がユーザーインスタンス上の予測関数であるPAC学習フレームワークに基づくゲーム理論的モデルを形式化する。
• プレイヤーの報酬を、彼女の製品を選択するユーザーの期待数として定義する。ユーザーは、自身の受容許容範囲内にあるすべての製品から一様にランダムに選択する。
• 有界な擬似次元の下で、すべての戦略プロファイルにおいて実証的報酬が真の報酬に一様に収束することを証明し、実証的推定の信頼性を保証する。
• 有限サンプル上に誘導される任意の実証的ゲームが、戦略的誤予測が存在しても純粋ナッシュ均衡を有することを示す。
• サンプルに基づく学習を用いて、高い確率で多項式時間内で近似PNEに収束する良い応答ダイナミクスの収束を確立する。
• 無限容量の設定における均衡の学習不能性を分析し、実証的PNEが全集団に一般化しない確率が高くなることを示す。

実験結果

リサーチクエスチョン

• RQ1 PAC学習フレームワーク下で、競合する予測アルゴリズムのゲームに純粋ナッシュ均衡が存在するか？
• RQ2 ユーザーの下位分布からの少数のサンプルのみを用いて、プレイヤーが近似純粋ナッシュ均衡を効率的に学習できるか？
• RQ3 この戦略的予測設定において、良い応答ダイナミクスは近似PNEに収束するか？
• RQ4 どのような条件下で、実証的純粋ナッシュ均衡が全集団における近似純粋ナッシュ均衡に一般化されるか？
• RQ5 戦略的誤予測（競合を上回るために意図的に予測を外す行動）は、均衡の結果にどのような影響を与えるか？

主な発見

• 任意の有限サンプル上に誘導される実証的ゲームは、プレイヤーが戦略的に誤予測を行っても、常に純粋ナッシュ均衡を有する。
• 高い確率でサンプル抽出の下で、良い応答学習ダイナミクスは多項式時間内で近似純粋ナッシュ均衡に収束する。
• 戦略プロファイル全体にわたる報酬の一様収束のおかげで、プレイヤーは少数のサンプルのみを用いても、全集団の近似PNEを学習できる。
• 有界な擬似次元の下では、実証的報酬が真の報酬のまわりに一様に集中するため、サンプルからの信頼性の高い学習が可能になる。
• 無限容量の設定では、母集団分布が既知であっても、実証的PNEが全集団に一般化しない確率が高くなる。
• 戦略的行動は、プレイヤーが分布と他のプレイヤーの戦略空間を完全に把握している場合ですら、非最適な個別戦略を引き起こすことがある。