[論文レビュー] Online optimization and regret guarantees for non-additive long-term constraints

Rodolphe Jenatton, Jim Huang+2 more|arXiv (Cornell University)|Feb 17, 2016

Advanced Bandit Algorithms Research被引用数 6

ひとこと要約

本稿では、非加法的で長期的な制約を伴うオンライン最適化のためのオンライン主双対アルゴリズムを提案し、1-ルックアヘッド設定において動的リグレットの保証を達成する。リグレットの境界は凸性、非加法的ペナルティの滑らかさ、制約残差の変動に依存し、ライブ広告データではリグレットが消えることを示し、合成実験では加法的ペナルティよりも優れたトレードオフを達成する。

ABSTRACT

We consider online optimization in the 1-lookahead setting, where the objective does not decompose additively over the rounds of the online game. The resulting formulation enables us to deal with non-stationary and/or long-term constraints , which arise, for example, in online display advertising problems. We propose an on-line primal-dual algorithm for which we obtain dynamic cumulative regret guarantees. They depend on the convexity and the smoothness of the non-additive penalty, as well as terms capturing the smoothness with which the residuals of the non-stationary and long-term constraints vary over the rounds. We conduct experiments on synthetic data to illustrate the benefits of the non-additive penalty and show vanishing regret convergence on live traffic data collected by a display advertising platform in production.

研究の動機と目的

• 行動がラウンド間で結合される非加法的で長期的な制約下でのオンライン最適化を扱うこと。特に非定常環境を想定する。
• 加法的目的関数にとどまらない動的リグレット分析を拡張し、グローバルに結合された制約を持つ問題の性能保証を可能にすること。
• 累積的な配信とターゲティング制約が非加法的で時間依存である、現実世界のオンライン広告システムをモデル化すること。
• 非加法的ペナルティの滑らかさと制約残差の時間的変動に依存する理論的リグレット境界を提供すること。
• 生産環境のディスプレイ広告プラットフォームからの合成データおよびライブトラフィックを用いた実証的検証を実施すること。

提案手法

• 行動がラウンド間で結合される非加法的で長期的な制約ペナルティを備えたオンライン最適化を定式化し、グローバルなパフォーマンス指標を捉える。
• 双対変数を用いて目的関数と制約ペナルティを同時に最適化するオンライン主双対-遅延アルゴリズムを構築する。
• 非加法的ペナルティ関数の凸性および滑らかさ、および制約残差の時間的変動に依存するリグレット境界を導出する。
• 累積的な制約違反を時間経過とともに1つのスカラーペナルティにマップする非加法的ペナルティ関数 $\mathcal{E}$ を導入する。
• 強い双対性と共役関数を用いて双対問題を導出し、部分勾配法による効率的なオンライン更新を可能にする。
• 報酬関数 $f_t$ が $\mathbf{x}_t$ の選択の前に既知である1-ルックアヘッド設定を採用し、非加法的制約下でのより良い意思決定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 総コストが非加法的でラウンド間の行動が結合される場合、オンライン最適化における動的リグレットはどのように分析できるか？
• RQ2 非加法的長期制約下でのオンライン主双対アルゴリズムに対して、どのような理論的リグレット保証を導出できるか？
• RQ3 非加法的ペナルティの滑らかさと制約残差の時間的変動がリグレット境界に与える影響は何か？
• RQ4 オンライン広告配分において、非加法的ペナルティは加法的緩和よりも報酬-制約違反トレードオフの面で優れているか？
• RQ5 提案されたアルゴリズムは、生産環境の広告プラットフォームからのリアルタイムトラフィックデータにおいて、リグレットが消えるか？

主な発見

• 提案されたオンライン主双対アルゴリズムは、生産環境のディスプレイ広告プラットフォームからのライブトラフィックデータにおいて、リグレットが消えることを示し、実用的な収束性を示している。
• リグレット境界は、非加法的ペナルティ関数の凸性および滑らかさ、および制約残差の時間的変動の滑らかさに依存する。
• 合成データでは、非加法的ペナルティアプローチは、報酬と制約違反のトレードオフにおいて、加法的緩和ベースラインを一貫して上回る。
• 特定の分布（例：ガンマ分布）では加法的緩和がよりタイトに見える場合があるが、非加法的アプローチは依然としてより優れた全体的なパフォーマンストレードオフを提供する。
• 理論的分析により、リグレットはペナルティの曲率と制約違反の時間的変動に比例して増加することが確認され、設計選択の妥当性が裏付けられた。