[論文レビュー] Large scale multi-objective optimization: Theoretical and practical challenges

Kinjal Basu, Ankan Saha+1 more|arXiv (Cornell University)|Feb 9, 2016

Advanced Multi-Objective Optimization Algorithms参考文献 9被引用数 4

ひとこと要約

本論文は、ラグランジュ双対性を用いた制約付き最適化により、ユーザーおよびアイテムレベルの制約を正確に扱えるスケーラブルで分散低減手法を用いた大規模な多目的最適化のアプローチを提案している。オペレータ分割と分散低減技術を用いることで、100倍のスケーラビリティ向上と、2桁の分散低減を達成し、オンラインシステムにおけるMOOの実用的導入を著しく前進させた。

ABSTRACT

Multi-objective optimization (MOO) is a well-studied problem for several important recommendation problems. While multiple approaches have been proposed, in this work, we focus on using constrained optimization formulations (e.g., quadratic and linear programs) to formulate and solve MOO problems. This approach can be used to pick desired operating points on the trade-off curve between multiple objectives. It also works well for internet applications which serve large volumes of online traffic, by working with Lagrangian duality formulation to connect dual solutions (computed offline) with the primal solutions (computed online). We identify some key limitations of this approach -- namely the inability to handle user and item level constraints, scalability considerations and variance of dual estimates introduced by sampling processes. We propose solutions for each of the problems and demonstrate how through these solutions we significantly advance the state-of-the-art in this realm. Our proposed methods can exactly handle user and item (and other such local) constraints, achieve a $100 imes$ scalability boost over existing packages in R and reduce variance of dual estimates by two orders of magnitude.

研究の動機と目的

• 大規模な多目的最適化における既存の制約付き最適化手法の限界、特にユーザーおよびアイテムレベルの制約と、双対推定における高い分散の問題を解決すること。
• 双対解の推定効率と正確性を向上させることで、オンラインシステムにおけるスケーラブルでリアルタイムの最適化を可能にすること。
• 局所的制約の正確な取り扱いを維持しながら、産業規模でも計算的に実行可能である実用的なフレームワークを提供すること。
• サンプリングプロセスに起因する双対推定の分散を低減することで、オンライン推薦システムにおける信頼性を向上させること。
• ニュースフィード順序付けやメールパーソナルポートフォリオ最適化といった実世界のLinkedIn応用において、本手法の有効性を示すこと。

提案手法

• ラグランジュ双対性を用いて、オフラインでの双対解の計算とオンラインでのプライマル解の推論を分離し、効率的なオンライン展開を可能にした。
• オフライン段階で大規模な二次計画問題を解くためにADMM（交替方向乗数法）を適用し、標準的なRパッケージと比較して100倍のスケーラビリティを達成した。
• 複数のサンプリングパスから得られる制御変数を用いた3つの分散低減技術を導入し、双対推定の収束を安定化させた。
• オフラインでの双対変数とオンラインでのアイテムスコアを用いて、各ユーザーごとの最適アクションベクトルを計算する双対からプライマルへの変換アルゴリズムを採用した。
• ユーザーおよびアイテムレベルの制約を最適化定式化に直接組み込み、局所的な境界の正確な満たしを保証した。
• 最大で約10^6変数の双対問題を1台のマシン上で解けるようにした。これは、従来の約10,000変数の上限を大幅に上回るものである。

実験結果

リサーチクエスチョン

• RQ1 オンラインシステムにおける大規模な多目的最適化において、ユーザーおよびアイテムレベルの制約を正確に強制するにはどうすればよいか？
• RQ2 計算コストを増加させずに、サンプリングに基づく大規模最適化における双対推定の分散を低減するにはどのような技術が有効か？
• RQ3 オペレータ分割手法は、従来の産業システムに比べ100倍多くの変数を扱えるようになるか？
• RQ4 制御変数による分散低減は、オンライン推薦システムにおける双対解の信頼性をどのように向上させるか？
• RQ5 本手法フレームワークは、ニュースフィード順序付けやメールパーソナルポートフォリオ最適化といった実世界の産業応用にどの程度適用可能か？

主な発見

• 提案手法は、1台のマシン上で最大約10^6変数の二次計画問題を解けるようになり、従来の約10,000変数の上限を大幅に超える100倍のスケーラビリティ向上を達成した。
• μ₀の双対推定における分散は、従来手法の16,401.07から、完全な分散低減を施した場合の11.73にまで低下し、1,400倍の低減が達成された。
• 複数のサンプリングパスと制御変数の使用により、サンプルサイズの増加による初期の400倍の低減に加え、最大で4倍の追加低減が達成された。
• 本手法は、1日3件まで広告を表示するなどのユーザーレベルの制約を正確に強制可能であり、これまでは処理できなかった。
• フレームワークはLinkedInのニュースフィードおよびメールパーソナルポートフォリオ最適化に成功裏に適用され、実世界システムにおける実用的妥当性とパフォーマンス向上を示した。
• オペレータ分割と分散低減技術の組み合わせにより、非常に安定的かつ正確な双対推定が得られ、オンライン・リアルタイム応用に向けた大規模なMOOの実現が可能になった。