[論文レビュー] Newton-Type Methods for Non-Convex Optimization Under Inexact Hessian Information

Peng Xu, Farbod Roosta-Khorasani+1 more|arXiv (Cornell University)|Aug 23, 2017

Sparse and Compressive Sensing Techniques参考文献 117被引用数 54

ひとこと要約

本論文は、不正確なヘッセ行列情報を伴う非凸最適化に対して信頼域法と適応型立方正則化 Newton型法を開発し、緩和されたヘッセ行列近似条件の下で最適な反復複雑性を確立し、有限和問題に対する高確率保証を備えたサブサンプリング戦略を提示します。

ABSTRACT

We consider variants of trust-region and cubic regularization methods for non-convex optimization, in which the Hessian matrix is approximated. Under mild conditions on the inexact Hessian, and using approximate solution of the corresponding sub-problems, we provide iteration complexity to achieve $ ε$-approximate second-order optimality which have shown to be tight. Our Hessian approximation conditions constitute a major relaxation over the existing ones in the literature. Consequently, we are able to show that such mild conditions allow for the construction of the approximate Hessian through various random sampling methods. In this light, we consider the canonical problem of finite-sum minimization, provide appropriate uniform and non-uniform sub-sampling strategies to construct such Hessian approximations, and obtain optimal iteration complexity for the corresponding sub-sampled trust-region and cubic regularization methods.

研究の動機と目的

• 非凸最適化において不正確なヘッセ行列で動作する頑健な Newton型法の提案動機。
• 保証付きの実用的なヘッセ近似条件を導入。
• 近似的な二次最適性を達成するための収束性と反復複雑性を分析。
• 有限和設定における不正確なヘッセ行列の構築のためのサブサンプリング戦略を開発・評価。
• 従来条件に対する利点を強調し、大規模問題への適用性を示す。

提案手法

• 不正確なヘッセ行列の下で信頼域法と適応的立方正則化（ARC）フレームワークを研究。
• 条件1を課す：不正確なヘッセ行列は (H(x_t)−∇^2F(x_t))s_t の境界条件と H(x_t) の一様ノルム境界を満たす。
• 降下を保証するためにサブ問題の近似解（Cauchy条件とEigenpoint条件）を許容。
• 条件1の下で、最悪ケースの反復複雑性は厳密解のバリアントと同等であることを示す。
• RandNLA（ランダム化数値線形代数）技術による事前ガイド付きヘッセ構築を提供。
• 有限和問題に対して、高い確率でヘッセ近似を実現するサブサンプリング戦略を設計。

実験結果

リサーチクエスチョン

• RQ1 信頼域法と立方正則化 Newton-type 法は、不正確なヘッセ行列を用いて (ε_g, ε_H)-最適解へ収束するか？
• RQ2 厳密な方法と比較して、緩和された不正確ヘッセ条件の下で達成可能な反復複雑性境界はどれか？
• RQ3 RandNLAベースのサブサンプリングは、必要な不正確性条件を満たすヘッセ近似を高確率で生み出せるのか？
• RQ4 サブサンプリングTRおよびARC法は有限和問題（P1, P2）で最適な二次複雑性を保持するのか？
• RQ5 分散・大規模設定において、新しい不正確ヘッセン条件は従来条件よりどのような実用的利点を提供するのか？

主な発見

• 本論文は、Condition 1を達成する不正確ヘッセを用いたTRおよびARCバリアントが、(ε_g, ε_H)-最適性に対して厳密解の最悪ケース反復複雑性と同等であることを証明する。
• より弱く柔軟なヘッセ近似条件により、 RandNLA 技術を用いた実用的な事前ヘッセ構築が可能になる。
• 有限和問題のサブサンプリング戦略は、ヘッセ近似が必要な精度を高確率で満たすことを保証し、さらに強力な境界を提供する。
• サブサンプリングされた TR および ARC 法の (P1) および (P2) に対する最適反復複雑性を導出。
• 提案されたフレームワークは、分散設定で反復ごとに不正確ヘッセを固定できるため、通信と計算のオーバーヘッドを削減する。