[論文レビュー] Complexity of Inexact Proximal Newton methods.

Katya Scheinberg, Xiaocheng Tang|arXiv (Cornell University)|Nov 26, 2013

Sparse and Compressive Sensing Techniques参考文献 23被引用数 4

ひとこと要約

本論文は、スパース最適化における不正確なプロキシマルニュートン法の一般枠組みを導入し、第二階微分のヘッセ行列近似と、十分な降下を保証するラインサーチを伴う第一階微分ソルバー（例：座標降下法）を組み合わせる。理論的保証のもとで、グローバル収束速度を確立し、既存のアルゴリズムを拡張・統合するとともに、統一的な分析フレームワークを提供する。

ABSTRACT

Recently several methods were proposed for sparse optimization which make careful use of second-order information [10, 28, 16, 3] to improve local convergence rates. These methods construct a composite quadratic approximation using Hessian information, optimize this approximation using a first-order method, such as coordinate descent and employ a line search to ensure sufficient descent. Here we propose a general framework, which includes slightly modified versions of existing algorithms and also a new algorithm, and provide a global convergence rate analysis in the spirit of proximal gradient methods, which includes analysis of method based on coordinate descent.

研究の動機と目的

• スパース最適化における既存の不正確なプロキシマルニュートン法を統合・拡張する一般枠組みの開発を目的とする。
• 第二階微分のヘッセ行列情報と、座標降下法などの第一階最適化技術を統合することを目的とする。
• 十分な降下を保証するラインサーチを用いて、グローバル収束を確保することを目的とする。
• プロキシマル勾配法の精神に則った理論的収束速度解析を提供することを目的とする。

提案手法

• ヘッセ行列情報に基づく合成二次近似を定式化し、目的関数の曲率を捉える。
• 計算コストを削減するために、座標降下法などの第一階手法を用いて部分問題を近似的に解く。
• 十分な降下を保証し、グローバル収束を維持するためにラインサーチ戦略を採用する。
• 不正確な解法においても収束保証を維持する新しいアルゴリズムをフレームワーク内に導入する。
• プロキシマル勾配法に類似したフレームワークを用いて収束速度を分析し、部分問題の不正確解へとアプローチを拡張する。
• 既存の改良アルゴリズムと新しい手法を網羅する統一的理論的分析を提供する。

実験結果

リサーチクエスチョン

• RQ1 スパース最適化において、第二階情報と第一階ソルバーを効率的に組み合わせつつ、グローバル収束を維持する方法は何か？
• RQ2 部分問題を座標降下法で解く不正確なプロキシマルニュートン法に対して、どのような収束速度保証を確立できるか？
• RQ3 提案された枠組みは、既存の不正確ニュートン型アルゴリズムをどのように統一的かつ一般化するか？
• RQ4 部分問題を不正確に解く際、十分な降下を保証するための条件は何か？
• RQ5 理論的収束を維持しながら実用的効率を向上させる新しいアルゴリズムを、この枠組み内で設計できるか？

主な発見

• 適切なラインサーチ条件のもとで、不正確なプロキシマルニュートン法に対して本フレームワークはグローバル収束を達成する。
• 部分問題の解が不正確であっても、正確なニュートン法と同等の収束速度を維持する。
• 座標降下法を部分問題ソルバーとして用いるアルゴリズムに対しても、理論的根拠を提供する。
• 一般的手法の収束特性を継承する新しいアルゴリズムがフレームワーク内に導入された。
• 統一的分析により、既存アルゴリズムの改良版と新しい手法の両方がカバーされ、共通の理論的基盤が提供された。
• 不正確な解法を活用することで、曲率情報と計算コストのバランスを取ることで、効率的なスパース最適化が可能になった。