[論文レビュー] Online Ad Procurement in Non-stationary Autobidding Worlds

Jason Cheuk Nam Liang, Haihao Lu+1 more|arXiv (Cornell University)|Jul 10, 2023

Advanced Bandit Algorithms ResearchDecision Sciences被引用数 3

ひとこと要約

本論文は、バンドイットフィードバックと不確実な長期的制約を伴う非定常な自動入札環境において、広告キャンペーンの制御変数の動的最適化のための原双対オンライン学習アルゴリズムを提案する。本手法は、データ生成過程の事前知識がなくても、確率的、敵対的、汚染された、周期的、エルゴドリックな多様な非定常世界において低レジストを達成でき、実世界のオンライン広告プラットフォームにおける強固な広告主意思決定を可能にする。

ABSTRACT

Today's online advertisers procure digital ad impressions through interacting with autobidding platforms: advertisers convey high level procurement goals via setting levers such as budget, target return-on-investment, max cost per click, etc.. Then ads platforms subsequently procure impressions on advertisers' behalf, and report final procurement conversions (e.g. click) to advertisers. In practice, advertisers may receive minimal information on platforms' procurement details, and procurement outcomes are subject to non-stationary factors like seasonal patterns, occasional system corruptions, and market trends which make it difficult for advertisers to optimize lever decisions effectively. Motivated by this, we present an online learning framework that helps advertisers dynamically optimize ad platform lever decisions while subject to general long-term constraints in a realistic bandit feedback environment with non-stationary procurement outcomes. In particular, we introduce a primal-dual algorithm for online decision making with multi-dimension decision variables, bandit feedback and long-term uncertain constraints. We show that our algorithm achieves low regret in many worlds when procurement outcomes are generated through procedures that are stochastic, adversarial, adversarially corrupted, periodic, and ergodic, respectively, without having to know which procedure is the ground truth. Finally, we emphasize that our proposed algorithm and theoretical results extend beyond the applications of online advertising.

研究の動機と目的

• 限られたフィードバックと非定常な市場状態下における、動的で高次元の制御変数最適化の課題に対処すること。
• データ生成過程の事前知識がなくても、複数の非定常調達環境で良好に動作する統一アルゴリズムの開発。
• 観測可能なのは結果のみ（関数値全体ではない）バンドイットフィードバック下でも、長期的制約（例：予算、ROI）の満たし方を保証すること。
• 実世界の広告調達を、関数値のバンドイットフィードバックと不確実な制約を伴うオンライン制約付き最適化問題としてモデル化すること。
• 理論的保証を、確率的、敵対的、周期的に変化する結果を含む非定常世界へと拡張すること。

提案手法

• 制御変数の意思決定を多次元変数としてモデル化し、バンドイットフィードバックと不確実な制約を伴うオンライン制約付き最適化として広告調達問題を定式化する。
• 制約の双対変数を維持し、適応的ステップサイズを用いた射影勾配更新を行う原双対アルゴリズムを導入する。
• 候補となる制御変数設定に対する指数的重みを用いた確率的探索戦略を採用し、探索と活用のバランスを取る。
• ホーフィングの補題と凸解析を用いて、関数の変動、制約違反、意思決定直径の観点からレジストをバインドする。
• 関数の滑らかさと勾配の有界性に関する一般仮定の下で、時間に依存しない非線形なレジストバウンドを導出する。
• 完全な関数フィードバックが得られない状況において、単位球面上での一様サンプリングを用いたスムージング技術を適用して勾配を推定する。

実験結果

リサーチクエスチョン

• RQ1 データ生成過程の事前知識がなくても、1つのオンライン学習アルゴリズムが多様な非定常調達環境で低レジストを達成できるか？
• RQ2 バンドイットフィードバックでのみ利用可能であり、長期的な予算およびROI制約がある状況で、広告主は複数の広告キャンペーンの制御変数をどのように動的に最適化できるか？
• RQ3 不確実で時間的に変化する制約と部分的フィードバック下でのオンライン最適化に対して、どのような理論的保証を提供できるか？
• RQ4 関数値のフィードバックと多次元意思決定変数を伴う非定常状況において、原双対手法をどのように適合できるか？
• RQ5 アルゴリズムは、敵対的、確率的、周期的に変化する環境のすべてにおいて同時に低レジストを維持できるか？

主な発見

• 提案されたアルゴリズムは、一般の非定常条件（確率的、敵対的、周期的）下で時間Tに対して非線形なレジストを達成し、上界がO(√T)であることを示した。
• アルゴリズムは時間経過とともに低い制約違反を保証し、累積的制約違反に対する理論的バウンドがTに対して非線形に増加する。
• 非定常プロセスの種類に関する事前知識がなくても、アルゴリズムのレジストバウンドが成立するため、多様な実世界の広告市場ダイナミクスに強い。
• アルゴリズムの性能は、結果がi.i.d.、敵対的、または周期的に変化するかどうかという非定常性の性質に依存しない。
• 理論的分析により、アルゴリズムが敵対的汚染やエルゴドリック非定常プロセス下でも低レジストを維持できることを確認した。
• 本手法はオンライン広告を越えて、不確実性と部分的フィードバック下でのオンライン最適化の一般フレームワークを提供する。