[論文レビュー] Worst Case Competitive Analysis of Online Algorithms for Conic Optimization

Reza Eghbali, Maryam Fazel|arXiv (Cornell University)|Nov 2, 2016

Optimization and Search Problems参考文献 33被引用数 4

ひとこと要約

本稿では、正の象限および正定値半定値コーン上の錐最適化問題に対する原双対オンラインアルゴリズムの最悪ケース競争比を分析し、単調関数に対して少なくとも1/2の定数競争比を保証する目的関数に関する十分条件を導出する。特に分離可能な関数に対しては、凸最適化を用いた最適スムージング技術を導入し、競争比を向上させ、スムージング関数に関して直接競争比の上限を最適化する構成的技法を提示する。

ABSTRACT

Online optimization covers problems such as online resource allocation, online bipartite matching, adwords (a central problem in e-commerce and advertising), and adwords with separable concave returns. We analyze the worst case competitive ratio of two primal-dual algorithms for a class of online convex (conic) optimization problems that contains the previous examples as special cases defined on the positive orthant. We derive a sufficient condition on the objective function that guarantees a constant worst case competitive ratio (greater than or equal to $\frac{1}{2}$) for monotone objective functions. We provide new examples of online problems on the positive orthant and the positive semidefinite cone that satisfy the sufficient condition. We show how smoothing can improve the competitive ratio of these algorithms, and in particular for separable functions, we show that the optimal smoothing can be derived by solving a convex optimization problem. This result allows us to directly optimize the competitive ratio bound over a class of smoothing functions, and hence design effective smoothing customized for a given cost function.

研究の動機と目的

• 広範なクラスの錐最適化問題に対するオンライン原双対アルゴリズムの最悪ケース競争比を分析すること。
• 単調関数に対して定数競争比（≥1/2）を保証する目的関数に関する十分条件を同定すること。
• オンラインアルゴリズムの競争比を向上させるための最適スムージング手法を開発すること。
• 特定のコスト関数に適合したスムージング関数を設計するための凸最適化フレームワークを提供すること。
• 正定値半定値コーン上での問題および分離可能な凹関数に対する分析を拡張すること。

提案手法

• コンpactな凸制約集合を有する正の象限および正定値半定値コーン上でのオンライン錐最適化を、原双対問題として定式化する。
• 逐次更新を用いる1つの原双対アルゴリズム（アルゴリズム1）と、連続的なサドルポイント更新を用いるもう1つのアルゴリズム（アルゴリズム2）を提案する。
• 単調なψに対して競争比が1/2以上に下限づくような、目的関数ψに関する十分条件を導出する。
• 競争比を向上させるために、目的関数を変換するスムージング技術を導入し、最適スムージングは凸最適化問題を解くことで得られる。
• 分離可能な関数にこの手法を適用し、最適スムージング関数がスムージング関数のクラス上で凸最適化により導出可能であることを示す。
• 共役関数と双対性を用いて、スムージングをFenchel共役関数の形で表現し、解析的および計算的取り扱いの容易さを実現する。

実験結果

リサーチクエスチョン

• RQ1 単調な錐最適化問題に対して、最悪ケース競争比が少なくとも1/2に保証されるようにする目的関数に関する十分条件は何か？
• RQ2 どのようにしてスムージングを体系的かつ一貫して適用し、オンライン原双対アルゴリズムの競争比を向上させることができるか？
• RQ3 最適スムージング関数は効率的に計算可能か？ もしそうならば、どのような凸最適化定式化によって達成できるか？
• RQ4 分離可能な凹関数に対して、最適スムージングを施した場合、競争比はどの程度向上するか？
• RQ5 提案されたアルゴリズムは、正定値半定値コーン上での問題に対してどの程度の性能を示すか？

主な発見

• 目的関数ψに対して、正の象限上での単調関数の最悪ケース競争比が少なくとも1/2に保証される十分条件が成立する。
• 分離可能な関数に対しては、競争比を最大化する最適スムージング関数を、凸最適化問題を解くことで計算可能である。
• 区分線形関数のクラスに対して、スムージング後の競争比は1 - exp(-1/(c+1))として下限づけられる。ここでcは関数の曲率に関連するパラメータである。
• ψ(u) = log(1+u) でu_max = 100の場合、cが増加するに従い、最適スムージング下での競争比は1 - exp(-1/c)に近づき、未スムージングバージョンに比べ顕著な向上が見られる。
• このフレームワークは正定値半定値コーン上での問題にも適用可能であり、本稿で導出された十分条件を満たす例が存在する。
• 提案されたスムージング手法により、特に曲率が有界な関数に対して、基本的な1/2の競争比を上回る性能向上が達成され、競争比の上限を直接最適化することが可能になる。