[論文レビュー] Efficient Algorithms for Non-convex Isotonic Regression through Submodular Optimization

Francis Bach|arXiv (Cornell University)|Jul 28, 2017

Stochastic Gradient Optimization Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、一様測度空間における凸緩和を用いた部分モジュラー最適化を活用することで、非凸等方回帰に対する効率的な多項式時間アルゴリズムを提案する。零次、一次、および高次オラクルに基づく新たな離散化スキームを導入し、関数評価回数を $O(1/ε^3)$ から $O(1/ε^{2+1/3})$ に削減する。非凸損失関数は、グローバル最適性の保証を維持したまま、外れ値に対して著しく高いロバスト性を示すことが実証された。

ABSTRACT

We consider the minimization of submodular functions subject to ordering constraints. We show that this optimization problem can be cast as a convex optimization problem on a space of uni-dimensional measures, with ordering constraints corresponding to first-order stochastic dominance. We propose new discretization schemes that lead to simple and efficient algorithms based on zero-th, first, or higher order oracles; these algorithms also lead to improvements without isotonic constraints. Finally, our experiments show that non-convex loss functions can be much more robust to outliers for isotonic regression, while still leading to an efficient optimization problem.

研究の動機と目的

• 凸等方回帰を超えた非凸で部分モジュラーな損失関数に対する効率的最適化を拡張すること。
• 測度空間における凸緩和を用いて、部分モジュラー等方回帰のための多項式時間アルゴリズムを開発すること。
• 零次、一次、および高次オラクルの収束速度を向上させる新しい離散化スキームを設計すること。
• 敵対的データ破損下における非凸損失関数の等方回帰におけるロバスト性を実証すること。
• 部分モジュラー最適化技術を等方性制約やそれ以上の制約（例：滑らかさの事前分布）を含む問題へ一般化すること。

提案手法

• 一様測度空間上での凸最適化問題として部分モジュラー等方回帰を定式化し、等方性制約を一次確率的優位性に写像する。
• 測度を $F_{\mu_i}(x_i) = \mu_i([x_i,1])$ で表す逆累積分布関数 $F_{\mu_i}^{-1}(t_i)$ を用いて再構成を実現する。
• テイラー展開（1次および2次）に基づく新しい離散化スキームを導入し、単純な離散化を超える収束性を向上させる。
• 分離可能な場合の鎖型制約への効率的射影のために、Dykstraの交互射影法とPool-Adjacent-Violators (PAV) を適用する。
• 目的関数の滑らかさ特性を活用して収束を加速し、特に2次オラクルの場合に顕著に効果を発揮する。
• 非分離問題に対しては、適応的ステップサイズを用いた部分勾配降下法を用い、数値実験により妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 部分モジュラー関数に等方性制約を課した問題は、測度空間上での凸問題に再定式化可能か？
• RQ2 部分モジュラー最適化における関数評価複雑度を低減するための離散化スキームはどのように設計可能か？
• RQ3 一次および二次オラクル（高次オラクル）は、非凸等方回帰における収束速度をどの程度向上させるか？
• RQ4 非凸損失関数は、凸損失関数に比べて等方回帰において外れ値に対してより優れたロバスト性を示せるか？
• RQ5 提案されたフレームワークは、等方性を越えた他の形状制約に対しても拡張可能か？

主な発見

• 2次離散化スキームを用いることで、関数評価回数を $O(1/\u03b5^3)$ から $O(1/\u03b5^{2+1/3})$ に削減した。
• 対数損失や絶対損失などの非凸損失関数は、等方回帰において最大50％のデータ破損に対しても著しく高いロバスト性を示した。
• 分離可能な問題では、滑らかな関数に対して誤差が $1/k^2$ で減少し、滑らかでない関数では $1/k$ で減少し、理論的予測と一致した。
• ヘッセ行列が有界である場合、2次離散化スキームは一次および単純な離散化スキームを著しく上回る収束速度を達成した。
• 高レベルの敵対的破損下でもグローバル最適性の保証を維持でき、追加の実験で最大75％のデータ破損に対してもロバスト性が実証された。
• このフレームワークは等方性制約を越えて一般化可能であり、等方性制約が存在しない場合でも、部分モジュラー関数の効率的最適化を可能にした。