[論文レビュー] MoTiAC: Multi-Objective Actor-Critics for Real-Time Bidding

Zhou, Haolin, Chaoqi Yang+4 more|arXiv (Cornell University)|Feb 18, 2020

Auction Theory and Applications参考文献 23被引用数 6

ひとこと要約

MoTiACは、ディスプレイ広告におけるリアルタイム入札における、複数目的のアクタ・クリティック強化学習フレームワークを提案する。目的別エージェント間の非同期学習を可能にし、過去の適合度に基づいて目的の重みを動的に調整することで、パレート最適性を達成する。 Tencent の産業データセット上で、平均して ROI を 2.7%、収益を 4.2% 向上させ、ベースラインを上回る性能を示した。

ABSTRACT

Online Real-Time Bidding (RTB) is a complex auction game among which advertisers struggle to bid for ad impressions when a user request occurs. Considering display cost, Return on Investment (ROI), and other influential Key Performance Indicators (KPIs), large ad platforms try to balance the trade-off among various goals in dynamics. To address the challenge, we propose a Multi-ObjecTive Actor-Critics algorithm based on reinforcement learning (RL), named MoTiAC, for the problem of bidding optimization with various goals. In MoTiAC, objective-specific agents update the global network asynchronously with different goals and perspectives, leading to a robust bidding policy. Unlike previous RL models, the proposed MoTiAC can simultaneously fulfill multi-objective tasks in complicated bidding environments. In addition, we mathematically prove that our model will converge to Pareto optimality. Finally, experiments on a large-scale real-world commercial dataset from Tencent verify the effectiveness of MoTiAC versus a set of recent approaches

研究の動機と目的

• 予算制約と ROI の最大化が共存する動的で複数目的の入札課題に対処すること。
• 収益や ROI のみに注目する単一目的の強化学習モデルの限界を克服し、対立する KPI をバランスさせる。
• 歴史的 PRIOR からの学習と、目的の重みの動的調整により、頑健で適応的な入札ポリシーの開発を実現すること。
• 非定常的で時間依存性のある RTB 環境下でも、複数目的最適化においてパレート最適性への収束を保証すること。
• Tencent の広告プラットフォームから得た大規模で実世界の商用データセットを用いてモデルを検証し、産業応用可能性を示すこと。

提案手法

• 複数の目的別アクタ・クリティックネットワークをサポートする非同期アドバンテージアクタ・クリティック（A3C）フレームワークを適応し、同じ環境と相互作用する。
• 目的に特化したエージェントを用いて、それぞれが異なる報酬信号（例：コスト制御、ROI、収益）に従って、グローバルポリシー ネットワークを非同期に更新する。
• エージェントの事前知識と現在の状態との適合度に基づき、固定された線形結合に代えて、目的の重みを動的に調整する。
• 複数の報酬関数を有するマルコフ決定過程（MDP）として複数目的強化学習問題を定式化し、長期的効用の最大化を可能にする。
• 提案された学習ダイナミクスの下で、MoTiAC がパレート最適解に収束することを数学的に証明する。
• 歴史的データを活用して PRIOR を事前学習し、適応的重み付けメカニズムを強化することで、動的環境におけるポリシーの一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム入札の動的で非定常な条件下において、予算制御と ROI のような対立する KPI を効果的にバランスできる複数目的強化学習フレームワークは存在するか？
• RQ2 事前の適合度に基づく目的の適応的重み付けは、固定または静的線形結合と比較して、入札ポリシーの性能をどのように向上させるか？
• RQ3 パレート最適性および実世界のパフォーマンス指標において、MoTiAC は単一目的および複数目的のベースラインをどの程度上回るか？
• RQ4 MoTiAC の長期的探索戦略は、短期的最適化に偏る PID のようなグリーディで短視眼的なアプローチと比較して、長期間にわたり高い ROI と収益を維持する上でどのように優れているか？
• RQ5 複雑で産業規模の RTB 環境において、モデルは頑健性を保ち、パレート最適性への収束を達成できるか？

主な発見

• MoTiAC は、テストされたキャンペーンの平均で、ベースラインの PID モデルと比較して ROI を 2.7%、収益を 4.2% 高く達成した。
• 24 時間の累積 ROI と収益において、MoTiAC は PID を上回り、グリーディな短期的最適化ではなく、優れた長期的戦略的計画性を示した。
• ベイジアン優先度設定では、目的の重みが事前の適合度に基づき動的に設定されるため、特に動的環境において他の戦略を上回る性能を発揮した。
• MoTiAC の ROI 曲線は持続的な上行傾向を示したのに対し、PID の曲線は早期にピークに達し、その後低下した。これは、MoTiAC が探索を維持し、早期収束を回避できることを示している。
• 実験により、MoTiAC が理論的に証明されたように、複数目的強化学習の定式化下でパレート最適解に収束することが確認された。
• 高コンversion 広告における事例研究では、MoTiAC は一時的に即時の利益から逸脱しても、より高い収益を維持しながら、より良い ROI のバランスを達成した。