[論文レビュー] Watch and Learn: Optimizing from Revealed Preferences Feedback

Aaron Roth, Jonathan Ullman+1 more|arXiv (Cornell University)|Apr 4, 2015

Advanced Bandit Algorithms Research参考文献 26被引用数 5

ひとこと要約

本稿では、リーダーがフォロワーの効用関数を知らない状況下で、選択された行動に対するフォロワーの最適反応を観測するのみで戦略を最適化できる、新しいアルゴリズム的枠組みを提示する。目的関数が非凸であるにもかかわらず、ゼロ次順序最適化とロバスト推定技術を用いることで、多項式時間のクエリ複雑度で効率的な最適化を達成する。

ABSTRACT

A Stackelberg game is played between a leader and a follower. The leader first chooses an action, then the follower plays his best response. The goal of the leader is to pick the action that will maximize his payoff given the follower's best response. In this paper we present an approach to solving for the leader's optimal strategy in certain Stackelberg games where the follower's utility function (and thus the subsequent best response of the follower) is unknown. Stackelberg games capture, for example, the following interaction between a producer and a consumer. The producer chooses the prices of the goods he produces, and then a consumer chooses to buy a utility maximizing bundle of goods. The goal of the seller here is to set prices to maximize his profit---his revenue, minus the production cost of the purchased bundle. It is quite natural that the seller in this example should not know the buyer's utility function. However, he does have access to revealed preference feedback---he can set prices, and then observe the purchased bundle and his own profit. We give algorithms for efficiently solving, in terms of both computational and query complexity, a broad class of Stackelberg games in which the follower's utility function is unknown, using only "revealed preference" access to it. This class includes in particular the profit maximization problem, as well as the optimal tolling problem in nonatomic congestion games, when the latency functions are unknown. Surprisingly, we are able to solve these problems even though the optimization problems are non-convex in the leader's actions.

研究の動機と目的

• フォロワーの効用関数が未知であるが、観測された行動によってのみ明らかにされる状況下で、スタッケルベルクゲームにおけるリーダーの戦略最適化の課題に対処すること。
• 売り手が価格を設定し、消費者の購入行動を観測するが、その評価関数を知らない状況下での利益最大化のための効率的アルゴリズムを開発すること。
• 非原子的混雑ゲームにおける最適課税問題にこの枠組みを拡張し、遅延関数が未知である状況下で社会的コストを最小化すること。
• 標準的な凸最適化手法が不適切となる、このような状況下でのリーダーの目的関数の本質的非凸性に対処すること。
• 弱い正則性条件の下で、利益最大化および課税問題の両者について、クエリ複雑度と収束性に関する理論的保証を提供すること。

提案手法

• フォロワーの反応のノイズあり観測を用いて、リーダーの期待効用の勾配を推定するため、ゼロ次順序オракル（ZOO）アクセスを用いた投影勾配降下法を用いる。
• フォロワーのバンドル選択の複数回のノイズあり観測を平均化することで、真の最適反応を近似するロバスト推定手順を導入する。
• ノイズのない状況では、観測されたフィードバックに基づいて可能な領域を繰り返し精錬することで、最適価格または課税を学習するためのシンプレックス法を適用する。
• 利益を購入されたバンドルの関数として表現することで、最適価格を学習する問題をバンドルベースの最適化問題に変換する。
• 摂動に基づくアプローチを用いて、フォロワーの効用関数を明示的に知らずとも、リーダーの行動（例：価格や課税）に関する効用関数の勾配を推定し、勾配ベース最適化を可能にする。
• ZOOを集中不等式と和集合不等式と組み合わせることで、勾配推定の高確率的正確性および最終解の品質を保証する。

実験結果

リサーチクエスチョン

• RQ1 フォロワーの効用関数が未知であるが、観測された行動によってのみ明らかにされる状況下で、スタッケルベルクゲームにおけるリーダーの戦略を効率的に最適化できるか？
• RQ2 観察された好みの反応のみを用いて、利益最大化や最適課税といった非凸最適化問題で、近似的に最適な性能を達成できるか？
• RQ3 これらの状況下で、高確率的に最適価格または最適課税を学習するために必要なクエリ複雑度はどの程度か？
• RQ4 標準的な凸最適化手法が不適切となる状況下で、リーダーの目的関数の非凸性に対処する方法は何か？
• RQ5 どのような条件下で、推定された最適戦略が高確率で真の最適戦略に収束することが保証できるか？

主な発見

• 提案されたアルゴリズムOproNは、確率1−β以上で最適利益のα以内の期待利益を達成し、クエリ数はÕ(d⁹.⁵/α⁴)で実現する。
• この枠組みは、標準的な凹型／凸型最適化手法が不適切となる非凸目的関数に対しても、利益最大化および最適課税問題の両方を効果的に処理できる。
• 利益最大化問題において、消費者との相互作用が多項式回で収束し、近似的に最適な価格戦略を学習可能である。
• 観測のノイズに対してロバストであり、平均化と集中不等式を用いて誤差を制御可能である。
• 目的関数が凹型でも凸型でもない状況下でも、ゼロ次順序最適化技術を用いて理論的保証を確立した。
• シンプレックス法に基づくバージョンはノイズのない状況下で正確な学習を達成し、理想的なフィードバック条件下での正確な最適化の可能性を示している。