[論文レビュー] Generalization Analysis for Game-Theoretic Machine Learning

Haifang Li, Fei Tian+3 more|arXiv (Cornell University)|Oct 9, 2014

Advanced Bandit Algorithms Research参考文献 11被引用数 3

ひとこと要約

本稿は、自己利益志向のエージェントを有する動的システムにおいてメカニズムを最適化する枠組みであるゲーム理論的機械学習（GTML）のための最初の一般化解析を提示する。一般化誤差を行動学習誤差とメカニズム学習誤差に分解し、マルコフ連鎖の安定性と、新たなネスト型被覆数の概念を用いて非漸近的境界を導出する。GSPオークションにおけるリザーブプライスの設定に対して、明確な誤差境界を確立する。

ABSTRACT

For Internet applications like sponsored search, cautions need to be taken when using machine learning to optimize their mechanisms (e.g., auction) since self-interested agents in these applications may change their behaviors (and thus the data distribution) in response to the mechanisms. To tackle this problem, a framework called game-theoretic machine learning (GTML) was recently proposed, which first learns a Markov behavior model to characterize agents' behaviors, and then learns the optimal mechanism by simulating agents' behavior changes in response to the mechanism. While GTML has demonstrated practical success, its generalization analysis is challenging because the behavior data are non-i.i.d. and dependent on the mechanism. To address this challenge, first, we decompose the generalization error for GTML into the behavior learning error and the mechanism learning error; second, for the behavior learning error, we obtain novel non-asymptotic error bounds for both parametric and non-parametric behavior learning methods; third, for the mechanism learning error, we derive a uniform convergence bound based on a new concept called nested covering number of the mechanism space and the generalization analysis techniques developed for mixing sequences. To the best of our knowledge, this is the first work on the generalization analysis of GTML, and we believe it has general implications to the theoretical analysis of other complicated machine learning problems.

研究の動機と目的

• GTMLにおける一般化理論の欠如、特に行動データがi.i.d.ではなくメカニズムに依存するという点を解決すること。
• 一般化誤差を行動学習とメカニズム学習の各成分に分解することで、GTMLにおける一般化誤差を形式的に分析すること。
• 依存データを扱うために、特に「ネスト型被覆数」という新しい理論的ツールを開発すること。
• スポンサーリンク広告のような実世界の応用例であるGSPオークションにおいて、GTMLの最初の非漸近的一般化誤差境界を提供すること。

提案手法

• マルコフ連鎖の定常分布の安定性を用いて、GTMLの一般化誤差を行動学習誤差とメカニズム学習誤差に分解する。
• パラメトリックおよびノンパラメトリックな行動学習手法に対して、マルコフ連鎖のためのホエーディングの不等式を適用し、非漸近的境界を導出する。
• 依存データ下でのメカニズム空間の複雑さを測るため、ネスト型被覆数の概念を導入する。
• 混合列に対する一様収束技術を用いて、メカニズム学習誤差を境界付ける。
• 行動学習誤差とメカニズム学習誤差の境界を組み合わせることで、総誤差境界を確立し、サンプルサイズと関数クラスの複雑さに明示的な依存関係を示す。
• このフレームワークをリザーブプライス付きGSPオークションに適用し、リザーブプライス関数クラスの擬似次元を用いて、明確な一般化誤差境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 行動データがi.i.d.ではなくメカニズムに依存するGTMLにおいて、一般化誤差を形式的にどのように分解できるか？
• RQ2 GTMLにおけるマルコフ的仮定のもとで、行動学習の非漸近的誤差境界はどのように確立できるか？
• RQ3 依存データが存在する状況で、メカニズム空間の複雑さをどのように測定し、一般化解析を可能にするか？
• RQ4 リザーブプライス付きGSPオークションという文脈におけるGTMLの一般化誤差境界は何か？
• RQ5 提案された理論的フレームワークは、戦略的エージェントを含む実世界の動的システムに適用可能か？

主な発見

• 本稿は、マルコフ連鎖のホエーディング型不等式を用いて、パラメトリックおよびノンパラメトリックモデルの両方に対して、非漸近的一般化誤差境界を確立する。
• 依存データ下でのメカニズム空間の複雑さを分析するため、独創的な「ネスト型被覆数」の概念を導入し、一様収束境界の実現を可能にする。
• リザーブプライス付きGSPオークションにおいて、2段階目の被覆数はリザーブプライス関数クラスの擬似次元を用いて境界付けられる。
• GSPオークションにおけるGTMLの総一般化誤差境界が導出され、行動サンプル数に関して指数的減少、メカニズムサンプル数に関して準指数的減少の傾向を示す。
• 境界は $ O(e^{-T_1}) + O\big(\text{被覆項} \times e^{-T_2^{s/(1+s)}}\big) $ の形をとり、適切なサンプルサイズのもとで強い収束を示す。
• 本結果は、動的かつ戦略的環境において、GTMLの理論的頑健性を裏付ける、スポンサーリンク分野における最初の形式的一般化保証を提供する。