[論文レビュー] Cheap Orthogonal Constraints in Neural Networks: A Simple Parametrization of the Orthogonal and Unitary Group

Mario Lezcano-Casado, David Martı́nez-Rubio|arXiv (Cornell University)|Jan 24, 2019

Model Reduction and Neural Networks参考文献 38被引用数 59

ひとこと要約

この論文は、正交・ユニタリ群上の最適化を可能にする指数写像ベースのパラメータ化を導入し、RNNの無拘束一階最適化を実現。堅牢で効率的な訓練と競争力のある結果を提供。exprnn アーキテクチャを実証し、実装の詳細と既存手法との経験的比較を行う。

ABSTRACT

We introduce a novel approach to perform first-order optimization with orthogonal and unitary constraints. This approach is based on a parametrization stemming from Lie group theory through the exponential map. The parametrization transforms the constrained optimization problem into an unconstrained one over a Euclidean space, for which common first-order optimization methods can be used. The theoretical results presented are general enough to cover the special orthogonal group, the unitary group and, in general, any connected compact Lie group. We discuss how this and other parametrizations can be computed efficiently through an implementation trick, making numerically complex parametrizations usable at a negligible runtime cost in neural networks. In particular, we apply our results to RNNs with orthogonal recurrent weights, yielding a new architecture called expRNN. We demonstrate how our method constitutes a more robust approach to optimization with orthogonal constraints, showing faster, accurate, and more stable convergence in several tasks designed to test RNNs.

研究の動機と目的

• RNNにおける爆発・消失勾配を緩和するため、正交/ユニタリ制約の下でロバストな最適化を動機づける。
• Lie理論に基づく指数パラメータ化を提案し、制約付き問題を無拘束のユークリッド空間に変換する。
• ニューラルネットワークで実用的かつ低オーバーヘッドな使用を可能にする実装上のコツを提供。
• 既存手法と比較して、標準的な長系列タスクで経験的優位性を示す。

提案手法

• 正交/ユニタリ群 G (SO(n), U(n)) を、Lie代数の要素 A（斜対称/斜エルミート）を用いた行列指数 exp(A) でパラメータ化する。
• 連結コンパクトLie群上での指数写像の全射性を示し、パラメータ化によって導入される計量の変化について議論する。
• exp(A)とその勾配を効率的に計算するために、スケールスクワリングを用いたPadé近似を使用する。
• f(exp(A)) の機械精度勾配を可能にする正確な勾配公式を導出する（Proposition 4.1）。
• 指数RNN (exprnn) を h_{t+1}=sigma(exp(A) h_t + T x_{t+1}) と定義し、A は斜対称、T は線形写像。
• 最適化のための初期化と実用的な切り詰め（リトラクション）について論じる。

実験結果

リサーチクエスチョン

• RQ1 行列指数パラメータ化は、ニューラルネットワークにおけるハードな正交制約の堅牢で安価な代替手段を提供しうるか？
• RQ2 斜対称行列上の最適化を指数写像で行うと、正交制約を持つRNNの収束性・安定性・一般化性能は改善されるか？
• RQ3 実践的には、Cayley変換やリーマン幾何的勾配法など既存手法と比べて、指数パラメータ化はどうか？
• RQ4 ニューラルネットワークでこのようなパラメータ化を効率的に実装・初期化するための実践的なコツは何か？

主な発見

モデル	n	パラメータ数	mnist	p-mnist
exprnn	170	~16K	0.980	0.949
exprnn	360	~69K	0.984	0.962
exprnn	512	~137K	0.987	0.966
scornn	170	~16K	0.972	0.948
scornn	360	~69K	0.981	0.959
scornn	512	~137K	0.982	0.965
lstm	128	~68K	0.819	0.795
lstm	256	~270K	0.888	0.888
lstm	512	~1058K	0.919	0.918
rgd	116	~9K	0.947	0.925
rgd	512	~137K	0.973	0.947
urnn	512	~9K	0.976	0.945
urnn	2170	~69K	0.984	0.953
eurnn	512	~9K	-	0.937

• 指数パラメータ化は、複数のタスクにおいて正交RNN（exprnn）の収束を高速化し、安定性を高める。
• パラメータ化によりハードな正交性を課すことなく一般的な最適化アルゴリズムの使用を可能にし、実用上のランタイムオーバーヘッドはごく僅かである。
• コピー機能、pixel-MNIST、timit音声タスクなど、いくつかのモデルサイズでexprnnが競合手法を上回るか同等であることを示す。
• Padé近似の指数近似とスケールスクワリングを用いると機械精度のexpと正確な勾配計算を提供し、数値安定性を向上させる。
• 初期化戦略（ブロック対角の斜対称ブロック）により、固有値構造を活用して訓練ダイナミクスを改善する。
• このアプローチは、Cayley変換法の一部で見られる退化を回避しつつ、競争力あるまたは優位な性能を達成する。