[論文レビュー] Decomposition Algorithm for Distributionally Robust Optimization using Wasserstein Metric

Fengqiao Luo, Sanjay Mehrotra|arXiv (Cornell University)|Apr 12, 2017

Risk and Portfolio Optimization参考文献 42被引用数 22

ひとこと要約

本稿では、Wasserstein距離を用いた分布的ロバスト最適化のための分解アルゴリズムを提案する。問題は半無限計画問題に再定式化され、非凸ケースでは交換法、凸ケースでは中心カットサーフェス法により解かれる。ロバストなロジスティック回帰モデルにおいて、20〜50回のオракル呼び出しで5桁の精度を達成し、標準モデルよりも低い予測誤差を実現する。

ABSTRACT

We study distributionally robust optimization (DRO) problems where the ambiguity set is defined using the Wasserstein metric. We show that this class of DRO problems can be reformulated as semi-infinite programs. We give an exchange method to solve the reformulated problem for the general nonlinear model, and a central cutting-surface method for the convex case, assuming that we have a separation oracle. We used a distributionally robust generalization of the logistic regression model to test our algorithm. Numerical experiments on the distributionally robust logistic regression models show that the number of oracle calls are typically 20 ? 50 to achieve 5-digit precision. The solution found by the model is generally better in its ability to predict with a smaller standard error.

研究の動機と目的

• 標本サイズが小さい場合に特に有効な、Wasserstein距離によって定義される不確実性集合を有する分布的ロバスト最適化問題を扱う。
• 不確実性集合に内在する構造を活用することで、効率的な問題解決を可能にする分解フレームワークを開発する。
• 提案されたアルゴリズムに対して、有限収束保証とグローバル線形収束レートを提供する。
• 分布的ロバストなロジスティック回帰モデルにおけるアルゴリズムの性能を実証的に検証する。
• 双対性と分解を用いて、混合整数および非凸問題へのフレームワークの適用を可能にする。

提案手法

• 内側の分布的ロバストネス問題を、双対ギャップのないコネックス双対性を用いて双対化することで、半無限計画問題に再定式化する。
• 制約集合が観測されたサンプルごとに分解される分解構造を活用し、各データポイントに対して独立した分離部分問題を可能にする。
• 一般非線形モデルに対しては交換法を実装し、マスター問題と分離部分問題を繰り返し解くことで解を改善する。
• 凸ケースには中心カットサーフェス法を適用し、半無限計画問題の構造を活かしてグローバル線形収束を達成する。
• 部分問題を効率的に解くための分離オラクルを統合し、問題サイズに応じてスケーリング可能なアルゴリズムを実現する。
• アルゴリズムの性能を実世界に近い問題に対して評価するためのテストベッドとして、分布的ロバストな一般化ロジスティック回帰を用いる。

実験結果

リサーチクエスチョン

• RQ1 Wassersteinロバスト最適化問題は、効率的な解法が可能な分解構造を持つ半無限計画問題に再定式化可能か？
• RQ2 一般非線形ケースにおける交換法は、所望の精度に有限収束するか？
• RQ3 提案された再定式化のもとで、中心カットサーフェス法は凸ケースにおいてグローバル線形収束レートを達成できるか？
• RQ4 ロバストなロジスティック回帰モデルにおいて、高精度解を得るために実際には何回のオラクル呼び出しとカットが必要か？
• RQ5 提案されたロバストモデルは、予測精度と標準誤差の観点で、標準的なロジスティック回帰よりも優れているか？

主な発見

• 内側の分布的ロバストネス問題は、双対ギャップのないコネックス線形計画問題に再定式化され、半無限計画問題への再定式化が可能である。
• 分解構造により、各観測サンプルに対して独立した分離問題を解くことができ、カットサーフェス法や交換法の効率的実装が可能になる。
• 交換法は5桁の精度に有限収束し、通常20〜50回のオラクル呼び出しで達成される。
• 中心カットサーフェス法は、問題の構造的性質を活かしてグローバル線形収束レートを示す。
• 分布的ロバストなロジスティック回帰モデルでは、追加されるカット数が通常訓練サンプル数の3〜10倍程度である。
• 解法時間は標準的なロジスティック回帰の100倍未塔であり、ロバストモデルはより優れた予測性能と小さい標準誤差を達成する。