[論文レビュー] Proximal Newton-type Methods for Minimizing Convex Objective Functions in Composite Form

Jason D. Lee, Yuekai Sun+1 more|arXiv (Cornell University)|Jan 1, 2012

Sparse and Compressive Sensing Techniques被引用数 3

ひとこと要約

本稿では、滑らか関数と単純なプロキシマル写像を持つ非滑らか関数からなる凸合成目的関数を最小化するためのプロキシマルニュートン型手法を導入する。この手法は、不正確な探索方向でさえもニュートン型手法の高速収束性を維持し、バイオインフォマティクス、信号処理、機械学習分野の既存手法を一般化するとともに、新たな収束保証を確立する。

ABSTRACT

We generalize Newton-type methods for minimizing smooth functions to handle a sum of two convex functions: a smooth function and a nonsmooth function with a simple proximal mapping. We show that the resulting proximal Newton-type methods inherit the desirable convergence behavior of Newton-type methods for minimizing smooth functions, even when search directions are computed inexactly. Many popular methods tailored to problems arising in bioinformatics, signal processing, and statistical learning are special cases of proximal Newton-type methods, and our analysis yields new convergence results for some of these methods.

研究の動機と目的

• 滑らか関数と非滑らか関数（単純なプロキシマル写像を持つ）を含む合成凸目的関数を扱えるように、ニュートン型手法を一般化すること。
• 合成設定下で不正確なラインサーチを用いても、ニュートン法の高速収束特性を維持すること。
• バイオインフォマティクス、信号処理、統計的学習分野における既存手法を、一つのフレームワークで統合・一般化すること。
• 提案されたプロキシマルニュートン型フレームワーク内に既存手法を組み込むことで、新たな収束結果を確立すること。

提案手法

• 非滑らか成分を扱うためにプロキシマル項を組み込んだことで、ニュートン型最適化を拡張する。
• 滑らか部分の局所的二次近似と非滑らか項を組み合わせた合成モデルを用いる。
• 探索方向は、非滑らか関数のプロキシマル作用素を含む部分問題を解くことで計算する。
• 探索方向の計算における不正確性を許容し、やや弱い条件下でも収束性を保証する。
• 適切な仮定の下で、グローバル収束性と超線形収束率を維持する。
• L1正則化最小二乗やグループラassoなどの既存手法を、統一的なプロキシマルニュートンスキームに埋め込むことで一般化する。

実験結果

リサーチクエスチョン

• RQ1 ニュートン型手法を、非滑らか正則化子を含む合成凸最適化問題に拡張できるか？
• RQ2 探索方向の計算が不正確であっても、提案手法が高速収束性を維持できるか？
• RQ3 信号処理および機械学習分野における既存手法は、提案されたプロキシマルニュートン型フレームワークとどのように関係するか？
• RQ4 不正確性と合成構造の下で、新しい手法に対してどのような収束保証を確立できるか？
• RQ5 このフレームワークは、応用分野におけるよく知られた最適化技術を統合・一般化できるか？

主な発見

• プロキシマルニュートン型手法は、不正確な探索方向でさえも、古典的ニュートン法と同等のグローバル収束性と超線形収束率を有する。
• 本手法は、バイオインフォマティクス、信号処理、統計的学習分野で広く用いられている多数の既存アルゴリズムを一般化する。
• 探索方向の計算における不正確性を含むやや弱い仮定のもとで、新しい手法の収束結果を確立した。
• 本フレームワークは、複数の既存手法の収束挙動を説明・強化する統一的視点を提供する。
• 非滑らか項のプロキシマル写像は正確に計算され、実用的な部分問題の効率的解法を可能にする。