[論文レビュー] The Landscape of Non-convex Empirical Risk with Degenerate Population Risk

Shuang Li, Gongguo Tang+1 more|arXiv (Cornell University)|Jul 11, 2019

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿は、母集団リスクのヘッセ行列に固有値がゼロであるような退化した設定において、非凸な経験的リスクのランドスケープを分析するための新規フレームワークを提案する。強いモース条件を必要とせず、経験的リスクと母集団リスクの臨界点の直接的対応関係を確立することで、より単純な母集団リスクの分析から経験的リスクランドスケープの頑健な推論が可能となる。この有効性は、行列センシングと位相再構成の事例で示された。

ABSTRACT

The landscape of empirical risk has been widely studied in a series of machine learning problems, including low-rank matrix factorization, matrix sensing, matrix completion, and phase retrieval. In this work, we focus on the situation where the corresponding population risk is a degenerate non-convex loss function, namely, the Hessian of the population risk can have zero eigenvalues. Instead of analyzing the non-convex empirical risk directly, we first study the landscape of the corresponding population risk, which is usually easier to characterize, and then build a connection between the landscape of the empirical risk and its population risk. In particular, we establish a correspondence between the critical points of the empirical risk and its population risk without the strongly Morse assumption, which is required in existing literature but not satisfied in degenerate scenarios. We also apply the theory to matrix sensing and phase retrieval to demonstrate how to infer the landscape of empirical risk from that of the corresponding population risk.

研究の動機と目的

• 母集団リスクのヘッセ行列に固有値がゼロであるような退化した状況における非凸経験的リスクの分析という課題に対処すること。
• 既存の手法が強いモース条件に依存しており、退化した状況では失敗することに起因する制限を克服すること。
• 強いモース条件を必要とせず、経験的リスクと母集団リスクの臨界点の直接的対応関係を確立すること。
• 経験的リスクランドスケープの性質をより取り扱いやすい母集団リスクランドスケープから推論できる理論的枠組みを提供すること。
• 理論を行列センシングや位相再構成といった具体的な問題に適用し、実用的有用性を検証すること。

提案手法

• 母集団リスクのランドスケープを分析する。これは特に退化した状況において、より簡単に特徴づけられる。
• 強いモースでないフレームワークを用いて、経験的リスクと母集団リスクの臨界点の対応関係を確立する。
• 母集団リスクにおける退化したヘッセ行列の構造的性質を活用することで、強いモース仮定を回避する。
• 摂動および連続性の議論を用いて、母集団リスクの幾何構造と経験的リスクの幾何構造を結びつける。
• 行列センシングと位相再構成にこのフレームワークを適用し、経験的リスクの臨界点が母集団リスクの性質をどのように引き継ぐかの条件を導出する。
• 行列センシングと位相再構成における母集団リスクランドスケープに関する既知の結果を活用し、経験的リスクの挙動を推論する。

実験結果

リサーチクエスチョン

• RQ1 母集団リスクが退化（すなわちヘッセ行列に固有値がゼロ）している場合、非凸経験的リスクのランドスケープはどのように分析できるか？
• RQ2 退化した状況において、経験的リスクと母集団リスクの臨界点の関係は何か？
• RQ3 経験的リスクランドスケープの分析において、強いモース条件を緩和できるか、理論的厳密性を失わずに行えるか？
• RQ4 母集団リスクランドスケープは、実用的な機械学習問題における経験的リスクランドスケープの性質をどのように推論に活用できるか？
• RQ5 このフレームワークは、行列センシングや位相再構成といった実世界の問題に、どの程度適用可能か？

主な発見

• 本稿は、強いモース条件を必要とせず、経験的リスクと母集団リスクの臨界点の直接的対応関係を確立した。
• このフレームワークにより、退化した非凸設定において、より解析可能な母集団リスクランドスケープから経験的リスクランドスケープの性質を推論できるようになった。
• 本手法は行列センシングと位相再構成に成功裏に適用され、実用的関連性と頑健性が示された。
• 強いモース条件を回避することで、従来取り扱いが困難であった非凸問題の広いクラスへの理論的分析が可能になった。
• 臨界点がヘッセ行列にゼロ固有値が存在する場合であっても、経験的リスクの臨界点が母集団リスクから構造的性質を引き継ぐことが示された。
• 理論により、非凸最適化における収束性と一般化性能の分析が、一般的ではあるが未だ十分に検討されていない退化状況下でも可能になる道筋が示された。