[論文レビュー] Data-driven Optimal Transport Cost Selection for Distributionally Robust Optimizatio

José Blanchet, Yang Kang+2 more|arXiv (Cornell University)|May 19, 2017

Risk and Portfolio Optimization被引用数 7

ひとこと要約

本稿では、分布的ロバスト最適化（DRO）における最適輸送コスト関数をデータ駆動で学習する手法を提案し、経験的分布の周囲の不確実性近傍を適応的に定義することで、機械学習推定器の性能を向上させる。このアプローチは、適応的正則化を一般化し、複数の標準モデルにおいて実証的に性能を向上させる。

ABSTRACT

Recently, (Blanchet, Kang, and Murhy 2016, and Blanchet, and Kang 2017) showed that several machine learning algorithms, such as square-root Lasso, Support Vector Machines, and regularized logistic regression, among many others, can be represented exactly as distributionally robust optimization (DRO) problems. The distributional uncertainty is defined as a neighborhood centered at the empirical distribution. We propose a methodology which learns such neighborhood in a natural data-driven way. We show rigorously that our framework encompasses adaptive regularization as a particular case. Moreover, we demonstrate empirically that our proposed methodology is able to improve upon a wide range of popular machine learning estimators.

研究の動機と目的

• 分布的ロバスト最適化（DRO）における最適輸送コストの選択のためのデータ駆動フレームワークを開発すること。
• 二乗根ラッソ、SVM、正則化ロジスティック回帰などの機械学習モデルのロバスト性と性能を向上させること。
• 提案手法を適応的正則化の特殊ケースとして正式に接続すること。
• 標準推定器が多様な学習タスクにおいて優れていることを実証的に検証すること。

提案手法

• 経験的分布のまわりのあいまいさ集合を定義する最適輸送のコスト関数を、データから学習する。
• データ駆動型最適化手順を用いて輸送コストをキャリブレーションし、データの構造を反映させる。
• 学習したコストをDRO定式化に統合し、あいまいさ集合上の最悪ケース期待値を最小化する。
• DROの双対定式化を用いて、効率的に解ける取り扱いやすい最適化問題を導出する。
• 適切にコスト関数が選ばれた場合、得られる推定器が適応的正則化に帰着することを示す。
• 標準的な機械学習モデルにこのフレームワークを適用し、ロバストで適応的な学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 最適輸送コストのデータ駆動的選択は、機械学習における分布的ロバスト最適化の性能を向上させることができるか？
• RQ2 提案手法は、既存の適応的正則化技術とどのように関係しているか？
• RQ3 学習したコスト関数は、二乗根ラッソやSVMなどの標準推定器をどの程度向上させることができるか？
• RQ4 理論的保証を維持したまま、実証的性能を向上させることができるか？

主な発見

• 提案手法は、適応的正則化を特殊ケースとして一般化し、ロバスト学習の統一的フレームワークを提供する。
• データ駆動型コスト学習により、広範な機械学習推定器における性能向上が達成される。
• コスト選択をDRO定式化に組み込むことで、理論的厳密性を維持する。
• 実証的結果は、標準推定器を一貫して上回ることを示し、ロバスト性と適応性を実証する。