[論文レビュー] Towards the optimal construction of a loss function without spurious local minima for solving quadratic equations

Zhenzhen Li, Jian‐Feng Cai+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced X-ray Imaging Techniques参考文献 37被引用数 4

ひとこと要約

本稿では、滑らかな2次損失と活性化関数を組み合わせた新しい損失関数を提案し、余分な局所的最小値のない2次方程式系の解法を実現する。ガウス測定のもとでは、高確率で真の解が一意の局所的最小値（グローバル位相因子を除き）であることが保証され、$ m \gtrsim n $ のとき、鞍点は常に負の曲率を持つ。これにより、勾配降下法によるグローバル収束が可能となる。

ABSTRACT

The problem of finding a vector $x$ which obeys a set of quadratic equations $|a_k^ op x|^2=y_k$, $k=1,\cdots,m$, plays an important role in many applications. In this paper we consider the case when both $x$ and $a_k$ are real-valued vectors of length $n$. A new loss function is constructed for this problem, which combines the smooth quadratic loss function with an activation function. Under the Gaussian measurement model, we establish that with high probability the target solution $x$ is the unique local minimizer (up to a global phase factor) of the new loss function provided $m\gtrsim n$. Moreover, the loss function always has a negative directional curvature around its saddle points.

研究の動機と目的

• 実数の2次方程式 $ |\bm{a}_k^\top\bm{x}|^2 = y_k $ を解くための損失関数を構築し、余分な局所的最小値を回避すること。
• 最小限のサンプリング複雑度、具体的には $ m \gtrsim n $ を達成し、情報理論的下界に一致させること。
• ガウス測定モデルのもとで、グローバル最小値が真の解 $ \bm{x} $ である（グローバル位相因子を除き）ことを保証すること。
• 損失関数のすべての鞍点が負の方向曲率を持つことを確立し、降下法によるグローバル最小値への収束を可能にすること。

提案手法

• 滑らかな2次損失と適切に選ばれた活性化関数を組み合わせることで、損失関数の幾何的性質を正則化する複合損失関数を設計する。
• 観測値と期待値の比に依存する正規化された活性化関数 $ h(\cdot) $ を導入し、幾何的性質を向上させる。
• 集中不等式とモーメントバウンド（補題3.6を用いて）を用いて、真の解および鞍点の周囲におけるヘッセ行列と勾配項の振る舞いを制御する。
• 臨界点における損失関数のヘッセ行列を分析し、鞍点において最小固有値が負であることを証明することで、非グローバル最小値からの脱出を保証する。
• ガウス確率的行列理論を活用し、$ m \gtrsim n $ のとき、高確率で損失関数の幾何的性質が良好であることを示す。
• 尾確率推定と指数減衰項 $ \sqrt{\beta}e^{-0.49\beta} $ を用いてヘッセ行列の成分に境界を設定し、$ \beta \to \infty $ のときにはこれらが消えることを示す。

実験結果

リサーチクエスチョン

• RQ1 非凸損失関数を構築可能か。$ m \gtrsim n $ のとき、真の解が一意の局所的最小値（グローバル位相因子を除き）となるか。
• RQ2 提案された損失関数はガウス測定モデルのもとで余分な局所的最小値を排除できるか。
• RQ3 損失関数のすべての鞍点が負の方向曲率を持つか。これにより、降下法によるグローバル最小値への収束が可能か。
• RQ4 集中測度とモーメントバウンドを用いて、損失関数の幾何的性質を厳密に分析可能か。

主な発見

• 高確率で、真の解 $ \bm{x} $ は、$ m \gtrsim n $ のとき、提案された損失関数の唯一の局所的最小値（グローバル位相因子を除き）である。
• ガウス測定モデルのもとで、$ m \gtrsim n $ のとき、損失関数は余分な局所的最小値を持たない。これは、以前の結果（$ m \gtrsim n\log^3 n $ 必要）を上回る。
• 損失関数のすべての鞍点は負の方向曲率を示し、鞍点を回避する降下法がグローバル最小値に収束することを保証する。
• 任意の臨界点における損失関数のヘッセ行列には負の固有値が存在し、これは集中不等式と $ \sqrt{\beta}e^{-0.49\beta} $ を含むモーメント推定を用いて証明される。
• 解析により、損失関数の曲率が良好に制御されており、ヘッセ行列成分の境界が $ \beta $（信号対雑音比の代理）に関して指数的に減少することが示された。
• 本手法は、情報理論的下界 $ m \gtrsim n $ に一致する最適なサンプリング複雑度を達成し、境界における $ \epsilon $-項を介して小さな摂動に対してロバストである。