[論文レビュー] Corrupted Multidimensional Binary Search: Learning in the Presence of Irrational Agents

Akshay Krishnamurthy, Thodoris Lykouris+1 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Bandit Algorithms Research被引用数 3

ひとこと要約

本稿では、文脈的価格設定やセキュリティゲームなどのゲーム理論的応用で一般的に見られる任意の非合理的なエージェントに対して耐性を持つ、多次元バイナリサーチのロバストなアルゴリズムを提案する。このアルゴリズムは、汚染されたラウンドの数に応じて滑らかに性能が低下する仕組みを備えており、学習理論、高次元幾何学、凸解析を統合することで、一部のエージェントが合理的でない行動を取った場合でも性能の安定性を確保する。

ABSTRACT

Standard game-theoretic formulations for settings like contextual pricing and security games assume that agents act in accordance with a specific behavioral model. In practice however, some agents may not prescribe to the dominant behavioral model or may act in ways that are arbitrarily inconsistent. Existing algorithms heavily depend on the model being (approximately) accurate for all agents and have poor performance in the presence of even a few such arbitrarily irrational agents. How do we design learning algorithms that are robust to the presence of arbitrarily irrational agents? We address this question for a number of canonical game-theoretic applications by designing a robust algorithm for the fundamental problem of multidimensional binary search. The performance of our algorithm degrades gracefully with the number of corrupted rounds, which correspond to irrational agents and need not be known in advance. As binary search is the key primitive in algorithms for contextual pricing, Stackelberg Security Games, and other game-theoretic applications, we immediately obtain robust algorithms for these settings. Our techniques draw inspiration from learning theory, game theory, high-dimensional geometry, and convex analysis, and may be of independent algorithmic interest.

研究の動機と目的

• エージェントが非合理的または一貫性のない行動を取る状況下で、既存の学習アルゴリズムが脆くなる問題に対処すること。
• 合理的でない行動からの任意の逸脱に対しても効果を保つ、多次元バイナリサーチのロバストな変種を設計すること。
• 性能の低下が滑らかで、非合理的なエージェントの数を事前に知る必要がないことを保証すること。
• 文脈的価格設定やスタッケルベルクセキュリティゲームといった代表的な応用分野へのロバストな展開を可能にすること。

提案手法

• 高次元空間における修正されたバイナリサーチフレームワークを用いて、多次元クエリを処理する。
• 一部のフィードバックラウンドが汚染されても収束を維持できるように、幾何学的および凸解析的手法を組み込む。
• 学習理論にインspiredされたロバスト推定原理を用いて、一貫性のないエージェントの応答をフィルタリングまたは重みを下げる。
• 一貫性のあるフィードバックに基づいて、動的に探索方向を調整し、非合理的なエージェントの影響を最小限に抑える。
• 汚染されたラウンドの数を事前に知る必要がなく、リアルタイムでの適応性を可能にする。
• 凸集合の性質と高次元幾何学の特徴を活用して、敵対的汚染に対しても収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 ゲーム理論的設定において、非合理的なエージェントによる任意の汚染に対して、多次元バイナリサーチをどのようにしてロバスト化できるか？
• RQ2 エージェント応答の一部が任意に一貫性のない場合、どのような性能保証を達成できるか？
• RQ3 汚染されたラウンドの数を事前に知る必要がなく、性能低下が滑らかに進行する学習アルゴリズムは構築可能か？
• RQ4 学習理論および凸解析の技術を用いることで、高次元探索においてどの程度のロバスト性を達成できるか？
• RQ5 このロバストな探索プリミティブは、文脈的価格設定やセキュリティゲームといった応用分野でどのように効果的に再利用できるか？

主な発見

• 提案されたアルゴリズムは、非合理的なエージェントによる汚染が顕著な場合でも、安定した収束を保証する。
• 汚染されたラウンドの数に応じて性能が滑らかに低下するが、その数を事前に知る必要がない。
• 幾何的推論と学習理論的原則を組み合わせることで、一貫性のない応答をフィルタリングするロバスト性を実現する。
• 文脈的価格設定やスタッケルベルクセキュリティゲームのためのロバストなアルゴリズム設計を、基盤となるプリミティブとして可能にする。
• 凸解析に基づく理論的保証を通じて、高次元設定における実用的妥当性を示す。
• このフレームワークはゲーム理論を越えて独立したアルゴリズム的価値を持ち、ロバスト最適化や学習分野への応用が有望である。