[論文レビュー] Numerically Recovering the Critical Points of a Deep Linear Autoencoder

Charles G. Frye, Neha S. Wadia+2 more|arXiv (Cornell University)|Jan 29, 2019

Model Reduction and Neural Networks参考文献 21被引用数 5

ひとこと要約

この論文は、真値の臨界点が解析的に分かっている深層線形オートエンコーダーにおいて、臨界点を回復するための数値的手法を評価している。ニュートン法に基づく手法が勾配ノルム最小化を上回り、正確な回復にはきつい数値的許容誤差（例：1e-10）が不可欠であることが判明した。最適化軌道に基づくサンプリング手法は、低損失臨界点への顕著なバイアスを生じる。

ABSTRACT

Numerically locating the critical points of non-convex surfaces is a long-standing problem central to many fields. Recently, the loss surfaces of deep neural networks have been explored to gain insight into outstanding questions in optimization, generalization, and network architecture design. However, the degree to which recently-proposed methods for numerically recovering critical points actually do so has not been thoroughly evaluated. In this paper, we examine this issue in a case for which the ground truth is known: the deep linear autoencoder. We investigate two sub-problems associated with numerical critical point identification: first, because of large parameter counts, it is infeasible to find all of the critical points for contemporary neural networks, necessitating sampling approaches whose characteristics are poorly understood; second, the numerical tolerance for accurately identifying a critical point is unknown, and conservative tolerances are difficult to satisfy. We first identify connections between recently-proposed methods and well-understood methods in other fields, including chemical physics, economics, and algebraic geometry. We find that several methods work well at recovering certain information about loss surfaces, but fail to take an unbiased sample of critical points. Furthermore, numerical tolerance must be very strict to ensure that numerically-identified critical points have similar properties to true analytical critical points. We also identify a recently-published Newton method for optimization that outperforms previous methods as a critical point-finding algorithm. We expect our results will guide future attempts to numerically study critical points in large nonlinear neural networks.

研究の動機と目的

• 勾配真値が入手可能なニューラルネットワーク損失関数の臨界点回復における数値的手法の忠実性を評価すること。
• サンプリング戦略が臨界点回復におけるバイアスに与える影響を評価すること。
• 真の臨界点を特定するための適切な数値的許容誤差を特定すること。
• 勾配ノルム最小化、トラスト領域ニュートン、および最近提案されたニュートン-MR手法の性能を比較すること。
• 既存のアプローチがバイアスなしで臨界点をサンプリングする際の限界を理解すること。

提案手法

• 本研究では、数値的回復手法の評価のベンチマークとして、解析的に分かっている臨界点を持つ深層線形オートエンコーダーを用いる。
• 3つのアルゴリズムをテストした：勾配ノルム最小化（GNM）、トラスト領域ニュートン、および最近提案されたニュートン-MR手法。
• サンプリング戦略には、最適化反復回ごとの一様サンプリングと、軌道上の点に対する一様サンプリングを含み、ガウスノイズを追加する有無も含めた。
• 勾配ノルムの数値的許容誤差を体系的に変化させ、真の臨界点の損失とインデックス値の正確な回復には1e-10が必須であることが判明した。
• 固有ベクトルへの射影のエントロピーを用いて、主要な方向へのサンプリングバイアスを定量化した。
• アルゴリズム的選択を文脈づけるために、化学物理学、代数幾何学、経済学分野の手法と理論的接続を示した。

実験結果

リサーチクエスチョン

• RQ1 真値が分かっている深層線形オートエンコーダーの真の臨界点を、数値的手法がどの程度正確に回復できるか？
• RQ2 解析的性質と一致する臨界点を特定するための最適な数値的許容誤差は何か？
• RQ3 最適化軌道に基づくサンプリング戦略が、臨界点回復にどの程度バイアスを生じるか？
• RQ4 勾配ノルム最小化（GNM）、トラスト領域ニュートン、ニュートン-MRの各最適化アルゴリズムは、収束速度と正確さにおいてどのように比較できるか？
• RQ5 なぜサンプリング軌道にノイズを追加してもバイアスが完全に除去されないのか？また、なぜノイズを大きくすると、低損失臨界点へのバイアスが増大するのか？

主な発見

• ニュートン-MR手法は、勾配ノルム最小化およびトラスト領域ニュートン手法に比べ、収束速度とウォールタイムの両面で優れていた。
• 勾配ノルム最小化は頻繁に局所最小値に閉じ込められ、収束までに2桁多い反復回数を要した。
• 真の臨界点の損失とインデックス値を正確に回復するには、1e-10というきつい数値的許容誤差が必要であり、1e-6のような以前の閾値を上回っていた。
• 最適化反復ごとに一様にサンプリングすると、主要固有ベクトルへの射影に強くバイアスがかかることが判明した（エントロピー：3.05ビット vs. 2.22ビット）。
• ガウスノイズを追加してもバイアスは完全に除去されず、場合によっては低損失臨界点へのバイアスが増大した。
• 本研究では、現在のサンプリング手法が非バイアスではないことが確認され、臨界点の非バイアスなサンプルの取得は未解決の課題であることが示された。