[論文レビュー] Online Stochastic Optimization with Multiple Objectives

Mehrdad Mahdavi, Tianbao Yang+1 more|arXiv (Cornell University)|Nov 26, 2012

Advanced Bandit Algorithms Research参考文献 27被引用数 8

ひとこと要約

本稿では、確率的1階情報のもとで複数の目的関数をもつオンライン凸最適化問題に対して、効率的なプライマルデュアル確率的勾配法を提案する。問題を1つの目的関数と他の目的関数のしきい値をもつ制約付き最適化問題に再定式化することで、リプシッツ連続性の仮定のみで、高確率的に最適な O(1/√T) 収束速度を達成する。従来のサンプリングに基づく手法とは異なり、一様収束性の強い仮定を必要とせず、優れた性能を発揮する。

ABSTRACT

In this paper we propose a general framework to characterize and solve the stochastic optimization problems with multiple objectives underlying many real world learning applications. We first propose a projection based algorithm which attains an $O(T^{-1/3})$ convergence rate. Then, by leveraging on the theory of Lagrangian in constrained optimization, we devise a novel primal-dual stochastic approximation algorithm which attains the optimal convergence rate of $O(T^{-1/2})$ for general Lipschitz continuous objectives.

研究の動機と目的

• 確率的1階オракルしか利用できない、複数の対立する目的関数をもつオンライン確率的凸最適化の課題に対処すること。
• 一様収束性や固定重み付け方式に依存する既存手法の制限を克服すること。
• 制約しきい値を満たすように二次的目標関数を尊重しつつ、最適な収束速度を達成するアルゴリズムを開発すること。
• 最小限の仮定のもとで、高確率的に収束性と制約違反の保証を提供すること。

提案手法

• 1つの目的関数を主たる目的とし、他の目的関数をユーザーが定めたしきい値をもつ不等式制約として扱うことで、多目的最適化問題を制約付き最適化問題に再定式化する。
• ラグランジュ双対性に基づくプライマルデュアル確率的勾配降下法を用いて、目的関数の最適化と制約の満たし方を同時に最適化する。
• 制約違反を制御するための適応的デュアル変数を用いた修正されたデュアル更新則を採用し、妥当な解への収束を保証する。
• サブガウス型尾部不等式を用いた高確率的集中不等式を適用し、有限サンプル性能保証を導出する。
• デュアル変数の上界を推定する戦略として、最大制約への再定式化を導入し、デュアルパラメータの安全な初期化を可能にする。
• サドルポイント定式化を用いて、プライマルデュアル反復が制約付き問題の最適解に収束することを保証し、妥当かつ最適な点への収束を実現する。

実験結果

リサーチクエスチョン

• RQ1 リプシッツ連続性の仮定のみで、一様収束性などの強い仮定を必要とせず、複数の目的関数に対して高確率的に最適な O(1/√T) 収束を達成できるか。
• RQ2 多目的確率的最適化における制約違反は、高確率的にどのように抑えられるか。
• RQ3 サンプリングに基づく2段階的手法に比べ、プライマルデュアル確率的アルゴリズムは収束速度とロバストネスの面で優れているか。
• RQ4 個々の制約のデュアル変数と、最大制約への再定式化におけるデュアル変数との関係は何か。

主な発見

• 提案されたプライマルデュアル確率的アルゴリズムは、目的関数のリプシッツ連続性の仮定のみで、高確率的に主たる目的関数に対して最適な O(1/√T) 収束速度を達成する。
• 二次的目標関数の制約違反は、高確率的に O(1/√T) で抑えられ、T が増加するにつれて妥当性が維持される。
• 一様収束性の強い仮定を必要とする2段階のサンプリングベースの手法とは異なり、本手法は最適な収束速度を達成できることを示す。
• 最大制約への再定式化におけるデュアル変数は、個々のデュアル変数の和に等しいことが示され、上界の安全な推定が可能になる。
• 制約関数の部分勾配のノルムに下界があるものと仮定（仮定3）することで、最適なデュアル変数が明示的に有界であることが保証され、安定なアルゴリズム初期化が可能になる。
• 理論的分析により、確率的勾配しか利用できない状況下でも、高確率的にすべての制約を満たす解に収束することが確認された。