[論文レビュー] Incentive-aware Contextual Pricing with Non-parametric Market Noise

Negin Golrezaei, Patrick Jaillet+1 more|arXiv (Cornell University)|Nov 8, 2019

Advanced Bandit Algorithms Research参考文献 17被引用数 7

ひとこと要約

本稿では、戦略的バイヤーと非パラメトリックな市場ノイズの下で最適なレーティング価格を学習できる、段階的かつランダム化された隔離ベースのポリシーであるNPAC-Sを提案する。バイヤーをランダムに隔離し、段階的学習を用いることで、将来のレーティング価格を引き下げるよう入札を操作するバイヤーが存在する状況においても、クラリヴォヤントベンチマークに対して$\tilde{\mathcal{O}}(\sqrt{T})$のレグレットを達成する。

ABSTRACT

We consider a dynamic pricing problem for repeated contextual second-price auctions with multiple strategic buyers who aim to maximize their long-term time discounted utility. The seller has limited information on buyers' overall demand curves which depends on a non-parametric market-noise distribution, and buyers may potentially submit corrupted bids (relative to true valuations) to manipulate the seller's pricing policy for more favorable reserve prices in the future. We focus on designing the seller's learning policy to set contextual reserve prices where the seller's goal is to minimize regret compared to the revenue of a benchmark clairvoyant policy that has full information of buyers' demand. We propose a policy with a phased-structure that incorporates randomized "isolation" periods, during which a buyer is randomly chosen to solely participate in the auction. We show that this design allows the seller to control the number of periods in which buyers significantly corrupt their bids. We then prove that our policy enjoys a $T$-period regret of $\widetilde{\mathcal{O}}(\sqrt{T})$ facing strategic buyers. Finally, we conduct numerical simulations to compare our proposed algorithm to standard pricing policies. Our numerical results show that our algorithm outperforms these policies under various buyer bidding behavior.

研究の動機と目的

• 繰り返しのセカンドプライスオークションにおいて、戦略的バイヤーが存在する状況で、最適なコンテキスト依存のレーティング価格を学習する動的価格設定ポリシーを設計すること。
• バイヤーが将来のレーティング価格に影響を与えるために虚偽の入札を行う場合にも、その影響を抑制するロバストネスを確保すること。
• 真の需要曲線とノイズ分布を事前に知っているクラリヴォヤントベンチマークに対するレグレットを最小限に抑えること。
• パラメトリックな形や単調ハザードレート（MHR）条件を仮定しない非パラメトリックな市場ノイズを扱うこと。
• 観察されないノイズ分布によって生じる未知の複雑な需要曲線に対しても、学習効率を維持すること。

提案手法

• 時間軸を段階に分割し、過去の不正な入札の影響を制限するために、過去の段階のデータからのみ需要とレーティング価格を推定する。
• ランダムに選ばれた1人のバイヤーが単独で入札する「隔離」期間を導入することで、戦略的インcentiveを低下させる。
• 各段階内で、履歴データから2番目に高い評価額と最高評価額の分布を経験的分布関数を用いて推定する。
• 将来のレーティング価格決定に影響を与えるのは、直前の段階のデータのみを保証することで、不正入札の影響範囲を制限する。
• Dvoretzky-Kiefer-Wolfowitz不等式を用いて経験的分布の誤差を抑え、マトリックス・チェルノフの不等式を用いて高次元のコンテキストにおける推定分散を制御する。
• 不正入札の影響が部分線形数の期間に限定されることを保証することで、長期的な学習精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 戦略的バイヤーが存在し、将来の価格に影響を与えるために虚偽の入札を行う場合に、売り手は繰り返しのセカンドプライスオークションで最適なコンテキスト依存のレーティング価格を学習できるか？
• RQ2 パラメトリックな形やMHR条件を仮定しない非パラメトリックな市場ノイズが存在する状況で、低レグレットを達成するにはどうすればよいか？
• RQ3 不正入札の影響を効果的に制限しつつ、需要曲線の効率的学習を維持するにはどのようなメカニズムが必要か？
• RQ4 ランダム化された隔離期間を伴う段階的学習ポリシーは、戦略的エージェントと未知のノイズ分布の下で部分線形のレグレットを達成できるか？
• RQ5 コンテキスト情報を用いた動的価格設定において、学習効率と戦略的不正操作に対するロバストネスの根本的トレードオフは何か？

主な発見

• 提案されたNPAC-Sポリシーは、$T$期間の間に$\tilde{\mathcal{O}}(\sqrt{T})$のレグレットバウンドを達成する。これは対数要因を除いて最適である。
• ランダム化された隔離期間の導入により、バイヤーが著しく入札を不正に操作できる期間の数が部分線形に抑えられ、長期的な不正操作の影響が制限される。
• 市場ノイズ分布$F$が非パラメトリックで、単調ハザードレート（MHR）条件を満たさない場合でも、ポリシーはロバストである。
• 実験結果から、NPAC-Sはさまざまな戦略的入札行動に対して、標準的な価格設定ポリシーを上回る性能を示す。
• 理論的分析により、ポリシーのレグレットがノイズ分布の複雑さに依存せず、$F$のリプシッツ連続性にのみ依存することが確認された。