[論文レビュー] Repeated Bilateral Trade Against a Smoothed Adversary

Nicolò Cesa‐Bianchi, Tommaso Cesari+3 more|arXiv (Cornell University)|Feb 21, 2023

Game Theory and ApplicationsDecision Sciences被引用数 3

ひとこと要約

本稿は、売り手と買い手の評価が適応的に選ばれるσ-スムーズな敵対的環境下での繰り返し双方向取引を研究する。異なる価格を買い手と売り手に設定できる場合に、部分的フィードバック下でT^{3/4}のレジーットを達成する新しい学習アルゴリズムを提案し、驚くべき下界を用いてこのレートが最適であることを証明する。これは、部分的フィードバック設定における標準的な√TおよびT^{2/3}のレジームを超える。

ABSTRACT

We study repeated bilateral trade where an adaptive $σ$-smooth adversary generates the valuations of sellers and buyers. We provide a complete characterization of the regret regimes for fixed-price mechanisms under different feedback models in the two cases where the learner can post either the same or different prices to buyers and sellers. We begin by showing that the minimax regret after $T$ rounds is of order $\sqrt{T}$ in the full-feedback scenario. Under partial feedback, any algorithm that has to post the same price to buyers and sellers suffers worst-case linear regret. However, when the learner can post two different prices at each round, we design an algorithm enjoying regret of order $T^{3/4}$ ignoring log factors. We prove that this rate is optimal by presenting a surprising $T^{3/4}$ lower bound, which is the main technical contribution of the paper.

研究の動機と目的

• σ-スムーズな敵対的環境下での繰り返し双方向取引におけるオンライン学習を研究すること。これはi.i.d.および最悪ケースの設定を一般化する。
• 異なるフィードバックモデル下での固定価格メカニズムのミニマックスレジーットを特定すること。
• 学習者が買い手と売り手に異なる価格を設定できる部分的フィードバック下で、サブ線形レジーットが達成可能かどうかを同定すること。
• この設定におけるT^{3/4}レジーットレートの最適性を確立すること。

提案手法

• 本稿は、売り手と買い手の評価の連合分布がσ-スムーズであるスムーズな敵対的モデルを導入し、時間的変動が制限された敵対的変動を保証する。
• Exp3アルゴリズムの変種であるBlind-Exp3を設計し、グリッドベースの探索戦略と重要度加重報酬を用いて取引利益の推定を行う。
• アルゴリズムは離散化された価格グリッド上の重みを維持し、推定利益に基づいて指数的重み更新を実行する。探索はパラメータγで制御される。
• 主な技術的要素として、報酬推定の集中を保証するため、搧発と探索を統合した有界な報酬推定子ˆrt(i)の使用がある。
• パrameter制約(2ηK/γ ≤ 1)の下で対数的および指数的不等式を用いて、レジーットバウンドを導出する。
• 情報理論的議論を用いて、T^{3/4}の新規な下界を証明し、上界のタイトネスを確立する。

実験結果

リサーチクエスチョン

• RQ1 学習者がスムーズな敵対的環境に直面し、部分的フィードバックしか得られない場合、繰り返し双方向取引でサブ線形レジーットを達成できるか？
• RQ2 学習者が買い手と売り手に異なる価格を設定できる部分的フィードバック下で、最適なレジーットレートは何か？
• RQ3 T^{3/4}レジーットレートはタイトか、それともさらに改善可能か？
• RQ4 この設定におけるミニマックスレジーットは、部分モニタリングやフィードバックグラフなどの古典的フィードバックモデルと比べてどう異なるか？

主な発見

• 完全フィードバック下では、固定価格メカニズムのミニマックスレジーットはΘ(√T)であり、標準的なオンライン学習の結果と一致する。
• 買い手と売り手に同じ価格を提示しなければならない場合、部分的フィードバック下では任意のアルゴリズムが最悪ケースで線形レジーットを被る。
• 買い手と売り手に異なる価格を設定できる場合、提案されたBlind-Exp3アルゴリズムは対数的要因を除き、T^{3/4}のオーダーのレジーットを達成する。
• 本稿はT^{3/4}の下界を確立し、このレートが最適であり、さらに向上できないことを証明する。
• この結果は、他の部分的フィードバックモデルで観察される√T対T^{2/3}の二分法的構造を超える、新たなレジーットレームを明らかにする。
• 分析により、スムーズな敵対的モデルは、i.i.d.仮定を越えて学習可能性を拡張できることを示す。