[論文レビュー] Orthogonal Over-Parameterized Training

Weiyang Liu, Rongmei Lin+6 more|arXiv (Cornell University)|Apr 9, 2020

Advanced Neural Network Applications参考文献 81被引用数 4

ひとこと要約

この論文は、ニューラルネットワークの一般化性能を向上させるために、超球面上のニューロンの多様性を測定する「最小超球面エネルギー」を維持する直交変換を学習する、新しいフレームワークである直交過パラメータ化学習（OPT）を提案する。初期重みを固定し、共有される直交行列を最適化することで、OPTはエネルギーを証明可能に最小化し、標準的な学習法よりも一般化性能が優れている。

ABSTRACT

The inductive bias of a neural network is largely determined by the architecture and the training algorithm. To achieve good generalization, how to effectively train a neural network is of great importance. We propose a novel orthogonal over-parameterized training (OPT) framework that can provably minimize the hyperspherical energy which characterizes the diversity of neurons on a hypersphere. By maintaining the minimum hyperspherical energy during training, OPT can greatly improve the empirical generalization. Specifically, OPT fixes the randomly initialized weights of the neurons and learns an orthogonal transformation that applies to these neurons. We consider multiple ways to learn such an orthogonal transformation, including unrolling orthogonalization algorithms, applying orthogonal parameterization, and designing orthogonality-preserving gradient descent. For better scalability, we propose the stochastic OPT which performs orthogonal transformation stochastically for partial dimensions of neurons. Interestingly, OPT reveals that learning a proper coordinate system for neurons is crucial to generalization. We provide some insights on why OPT yields better generalization. Extensive experiments validate the superiority of OPT over the standard training.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおける一般化性能の向上を図るため、直交パラメータ化による新しいインダクティブバイアスを導入すること。
• 一般化と関連が知られている超球面エネルギーを明示的に最小化しない既存の学習手法のギャップを埋めること。
• 初期重みを固定し、直交変換を最適化することで、ニューロン重みの学習と座標系の学習を分離すること。
• 直交行列の最適化を通じて、超球面エネルギーをスケーラブルかつ証明可能に最小化する効果的な手法を提供すること。
• ニューロンの適切な座標系の学習が一般化にとって重要であることを明らかにすること、重みの更新だけでは不十分であることを示すこと。

提案手法

• 各ニューロンの重みを w = Rv として分解し、v をランダムに初期化して固定し、R を学習可能な層共有の直交行列とする。
• グラン・シュミット法、ハウスホルダー法、ローディン法などのアンロールド直交化アルゴリズムを用いて、暗黙の正則化を伴うRの学習を行う。
• Cayleyパarametrizationなどの直交パラメータ化を適用し、Rの効率的で安定した最適化を実現する。
• 直交性を保つ勾配降下法を採用し、バックプロパゲーション中にRの直交性を維持する。
• スケーラビリティを向上させるために、部分的なニューロン次元にのみ直交変換を適用する確率的OPTを導入する。
• 学習の前処理として、初期重みの超球面エネルギーを最小化することで、初期状態でのニューロンの分離を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ニューロン重みに対して直交変換を学習することで、超球面エネルギーを証明可能に最小化し、一般化性能を向上させることができるか？
• RQ2 重みの大きさと座標系の学習を分離することで、インダクティブバイアスと一般化性能にどのような影響を与えるか？
• RQ3 OPTフレームワークにおいて、異なる直交化手法（例：アンロールド、パラメータ化、勾配保存型）の相対的な利点は何か？
• RQ4 学習前にランダムに初期化された重みの超球面エネルギーを最小化することで、下流の性能が向上するか？
• RQ5 スケーリングを向上させるために、確率的OPTは大規模モデルにおいても性能を維持できるか？

主な発見

• OPTは、Rという直交変換を学習することで、超球面エネルギーを証明可能に最小化する。vがランダムに初期化されている場合、期待値において最小エネルギーが保証される。
• 実験では、訓練損失が類似している場合でも、OPTは標準的な学習法よりも顕著に一般化性能が優れていることが示された。
• フレームワークは、超球面上でのニューロンの多様性と分離を高める座標系（R）を学習することで、一般化性能を向上させる。
• 初期重みの超球面エネルギーを最小化する前処理により、より良い初期設定が得られ、収束が早くなる。
• スケーリングを向上させるために、確率的OPTは計算コストを削減しながらも、強力な性能を維持でき、大規模モデルへの適用が可能である。
• 異なる直交化手法（例：対称型 vs. ハウスホルダー型）は、それぞれ異なる暗黙の正則化を誘発し、最終的なモデル性能に影響を与える。