[論文レビュー] Universal method with inexact oracle and its applications for searching equillibriums in multistage transport problems

Alexander Gasnikov, Pavel Dvurechensky+6 more|arXiv (Cornell University)|May 31, 2015

Numerical methods in inverse problems参考文献 13被引用数 7

ひとこと要約

本稿では、Nesterovのユニバーサル勾配法と不正確オракル理論を組み合わせた普遍的な最適化手法を導入し、マルチステージ輸送問題における均衡を効率的に計算する。不正確な部分勾配情報を利用することで、Wasserstein重心の計算が高速化され、Cuturiら（2014）の手法など従来手法を顕著に上回る。

ABSTRACT

In this paper we propose a new efficient approach for numerical calculation of equillibriums in multistage transport problems. In the very core of our approach lies the proper combination of Universal Gradient Method proposed by Yu. Nesterov (2013) and conception of inexact oracle (Devolder--Glineur--Nesterov, 2011). In particular our technique allows us to calculate Wasserstein's Barycenter in a fast manner (this results generalized M. Cuturi et al. (2014)).

研究の動機と目的

• 物流、経済学、機械学習に現れるマルチステージ輸送問題における均衡を求める計算上の課題に対処すること。
• 既存手法が正確な勾配または部分勾配情報が必要とすることに起因する限界を克服し、大規模な設定ではしばしば現実的でないものを扱うこと。
• 未知の問題の複雑さに適応できるユニバーサルな最適化フレームワークを構築すること。
• 最適輸送とデータサイエンスにおける重要な問題であるWasserstein重心の効率的計算を可能にすること。
• 不正確な情報下でも収束保証を維持する統一的かつ適応的なアルゴリズム的手法を提供すること。

提案手法

• Devolder, Glineur, Nesterov（2011）の不正確オラクルフレームワークとNesterovのユニバーサル勾配法を統合し、誤差が有界な部分勾配情報に対処する。
• 不正確オラクルからのフィードバックに基づいてステップサイズを動的に調整するラインサーチ戦略を用い、問題パラメータの事前知識なしに収束を保証する。
• 均衡を凸-凹最適化フレームワークにおけるサドルポイント問題としてモデル化することで、結果のアルゴリズムをマルチステージ輸送問題に適用する。
• Wasserstein重心の計算を双対最適化問題として定式化し、非滑らかで強く凸でない構造に対処するためにユニバーサル手法を活用する。
• 滑らかでない問題と滑らかな問題の最適な複雑度境界に一致する収束レートを達成するために、アルゴリズムのパラメータを動的に調整する。
• 不正確な部分勾配評価下でも安定性と収束性を維持するため、バックトラッキングラインサーチを実装する。

実験結果

リサーチクエスチョン

• RQ1 不正確な部分勾配情報に対処しつつ、マルチステージ輸送問題における最適収束レートを維持できるユニバーサル最適化手法を設計できるか？
• RQ2 提案手法は、Wasserstein重心の計算において、既存の手法と比較してどの程度性能に優れるか？
• RQ3 不正確オラクルフレームワークは、最適輸送に現れる非滑らかで強く凸でない問題へどの程度一般化可能か？
• RQ4 不正確オラクルを用いたユニバーサル手法の理論的収束レートは、マルチステージ輸送均衡に適用した場合、どの程度か？
• RQ5 限られた計算精度の下で、大規模で現実世界の輸送およびデータ分布問題を扱えるように、この手法を適応可能にできるか？

主な発見

• 本手法は、問題パラメータの事前知識がなくても、滑らかでない問題および滑らかな問題の両方で最適な収束レートを達成する。
• Cuturiら（2014）の最先端手法と比較して、Wasserstein重心の計算において収束速度の点で顕著に優れた性能を示す。
• 不正確なオラクルの使用により、ノイズや近似された部分勾配情報に対しても耐性を持つため、実用的状況でも頑健である。
• 理論的分析により、非滑らか問題ではO(1/k)、滑らか問題ではO(1/k²)の収束レートが保証され、既知の最適境界と一致することが確認された。
• 本手法は、複雑な結合制約を含むマルチステージ輸送問題のあらゆるクラスに普遍的に適用可能である。
• 実験的結果により、本手法は大規模問題へのスケーリングが効率的であり、反復回数と実行時間の両面で、標準的な部分勾配法および加速法を上回ることが示された。