[論文レビュー] Efficiently testing local optimality and escaping saddles for ReLU networks

Chulhee Yun, Suvrit Sra+1 more|arXiv (Cornell University)|Sep 28, 2018

Energy Efficient Wireless Sensor Networks参考文献 37被引用数 5

ひとこと要約

本稿では、多面体幾何学を活用して、2層ReLUネットワークにおける局所最適性のテストと鞍点からの脱出を理論的に効率的に行うアルゴリズムを提案する。各隠れノードごとに1つの凸二次計画（QP）を解き、O(M)個の不等式テストと1つか数個の非凸QPを処理することで、計算を削減する。この方法により、局所最小値、2次静止点（SOSP）、または降下方向を効率的に特定でき、良性ケースでは指数的収束を達成し、困難なケースでも取り扱い可能な複雑さを維持する。

ABSTRACT

We provide a theoretical algorithm for checking local optimality and escaping saddles at nondifferentiable points of empirical risks of two-layer ReLU networks. Our algorithm receives any parameter value and returns: local minimum, second-order stationary point, or a strict descent direction. The presence of $M$ data points on the nondifferentiability of the ReLU divides the parameter space into at most $2^M$ regions, which makes analysis difficult. By exploiting polyhedral geometry, we reduce the total computation down to one convex quadratic program (QP) for each hidden node, $O(M)$ (in)equality tests, and one (or a few) nonconvex QP. For the last QP, we show that our specific problem can be solved efficiently, in spite of nonconvexity. In the benign case, we solve one equality constrained QP, and we prove that projected gradient descent solves it exponentially fast. In the bad case, we have to solve a few more inequality constrained QPs, but we prove that the time complexity is exponential only in the number of inequality constraints. Our experiments show that either benign case or bad case with very few inequality constraints occurs, implying that our algorithm is efficient in most cases.

研究の動機と目的

• ReLUネットワークの損失関数における微分不能点の解析という課題に取り組む。これらは局所最適性にとって重要であるが、非線形性と区分的微分可能性のため取り扱いが困難である。
• 与えられた点が局所最小値、2次静止点（SOSP）、または厳密な降下方向を持つかどうかを判定できる理論的アルゴリズムを開発すること。
• トレーニングにおけるより良い終了基準を可能にするために、ReLUネットワークの任意のパラメータに対して最適性の証明または降下方向の証明を提供すること。
• 非凸的かつ非滑らかなReLUネットワークにおける最適性のチェックにかかる計算負荷を、幾何的構造と凸緩和技術を活用することで低減すること。

提案手法

• M個のデータポイントに基づき、パラメータ空間を最大2^M個の領域に分割する。これは、ReLUユニットにおいてw^T x + b = 0となるときに微分不能性が生じることを利用している。
• 各隠れノードに対して、局所的な曲率と部分勾配の挙動を捉える1つの凸二次計画（QP）を解く。
• データポイント全体にわたる有効制約と部分勾配の一貫性を確認するため、O(M)個の不等式および等式テストを実行する。
• 最終的な非凸QPに対して、良性ケース（等式制約付きQP）では投影勾配降下法を用いて指数的速さで解けることを証明している。
• より複雑なケース（不等式制約付き）では、時間計算量が制約の数に対してしか指数的にならず、データ総数に依存しない。
• 部分微分とヘッセ行列に類似した情報を多面体幾何学でモデル化することで、非滑らか点における2次分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2層ReLUネットワークのパラメータ空間における与えられた点が、局所最小値、SOSP、または降下方向を持つかどうかを、効率的にテストできるか？
• RQ2 非滑らかで非凸的なReLUネットワークにおける局所最適性のチェックの計算的非実行可能性をどのように克服できるか？
• RQ3 ReLUネットワークにおける微分不能点における鞍点からの脱出の計算量的複雑度は何か？
• RQ4 非凸性があるにもかかわらず、非滑らかな境界においても降下方向の計算を保証できる手法を設計できるか？

主な発見

• アルゴリズムは、全最適性テストを、各隠れノードごとに1つの凸QP、O(M)個の不等式／等式テスト、および1つか数個の非凸QPに還元することで、計算的に実行可能にする。
• 良性ケース（等式制約付きQP）では、投影勾配降下法により最終的なQPが指数的速さで解けるため、迅速な収束が保証される。
• 悪条件ケース（不等式制約付きQP）では、時間計算量が不等式制約の数に対してしか指数的にならず、データポイント数に依存しない。
• 実証的証拠から、実世界のほとんどの状況では良性ケース、または不等式制約が非常に少ない悪条件ケースが現れることが示唆されており、高い効率性を示している。
• 本手法は完全な証明を提供する：入力された任意の点に対して、局所最小値、2次静止点、または厳密な降下方向を返す。
• 部分微分と曲率を多面体幾何学でモデル化することで、ReLUネットワークにおける根本的な滑らかでない性質に対処した。