[論文レビュー] Fast and accurate optimization on the orthogonal manifold without retraction

Pierre Ablin, Gabriel Peyré|arXiv (Cornell University)|Feb 15, 2021

Matrix Theory and Algorithms被引用数 4

ひとこと要約

本稿では、再投影（retraction）を用いない、関数の直交多様体上での最適化を高速かつ数値的に安定させる手法「landingアルゴリズム」を提案する。反復点を直交多様体に引き寄せるポテンシャルエネルギーに従って進化させることで、指数関数や平方根などの高コストな行列演算を回避し、行列積のみに依存する。これにより、特に大規模な問題や深層学習の文脈において、再投影ベースの手法よりも高速な収束と低い直交化誤差を達成する。

ABSTRACT

We consider the problem of minimizing a function over the manifold of orthogonal matrices. The majority of algorithms for this problem compute a direction in the tangent space, and then use a retraction to move in that direction while staying on the manifold. Unfortunately, the numerical computation of retractions on the orthogonal manifold always involves some expensive linear algebra operation, such as matrix inversion, exponential or square-root. These operations quickly become expensive as the dimension of the matrices grows. To bypass this limitation, we propose the landing algorithm which does not use retractions. The algorithm is not constrained to stay on the manifold but its evolution is driven by a potential energy which progressively attracts it towards the manifold. One iteration of the landing algorithm only involves matrix multiplications, which makes it cheap compared to its retraction counterparts. We provide an analysis of the convergence of the algorithm, and demonstrate its promises on large-scale and deep learning problems, where it is faster and less prone to numerical errors than retraction-based methods.

研究の動機と目的

• 直交多様体上のリーマン最適化における再投影の計算ボトルネックを解消すること、特に大規模問題に対して。
• 行列指数関数や平方根といった高コストな線形代数演算を回避しつつ、直交性の高精度を維持する手法を開発すること。
• 浮動小数点精度の制限に起因する数値誤差の蓄積を減らすこと。
• 直交行列を必要とする深層学習の応用において、自明化法や再投影法の代替手段を提供すること。
• ポテンシャル駆動の動的最適化（非可算解法）が、可算解法よりも速度と最終的な直交性で優れる可能性を示すこと。

提案手法

• landingアルゴリズムは、直交多様体からの逸脱をペナルティとするポテンシャルエネルギー関数に従って反復点を連続的に進化させる。
• 更新則は再投影や行列逆行列、指数関数、平方根といった高コストな演算を避けて、行列積のみに依存する。
• ポテンシャルエネルギーは $ \mathcal{N}(X) = \frac{1}{4}\|XX^\top - I_p\|^2 $ で定義され、これは直交多様体への二乗距離を測定する。
• リーマン勾配降下法の枠組みを採用しているが、再投影ステップを直交多様体へのダイレクトな動的統合に置き換えている。
• アルゴリズムはモーメンタムを組み込み可能であり、SGD や Adam といった標準的な最適化フレームワークと組み合わせられる。
• 収束性はグローバルおよびローカルの両面から解析され、反復点が多様体に収束し、目的関数の局所最小値に到達することが示された。

Figure 1: Trajectories of the landing algorithm and of a retraction gradient descent with $p=2$ . The iterates are $2\times 2$ matrices, the $x$ -axis corresponds to coefficient $(1,1)$ of the matrices, and the $y$ -axis to coefficient $(1,2)$ . The retraction method stays on $\mathcal{O}_{p}$ (blac

実験結果

リサーチクエスチョン

• RQ1 再投影を一切使わない直交多様体上での最適化手法は、再投影ベースの手法と同等またはそれ以上の収束速度と精度を達成できるか？
• RQ2 各反復で高コストな線形代数演算を回避することで、特に大きな行列に対して計算効率が著しく向上するか？
• RQ3 一時的に多様体を離れることを許容する非可算手法が、数値誤差の蓄積が少ないため、可算手法よりも最終的な直交性が優れているか？
• RQ4 行列指数関数によるパrametrization（自明化法）と比較して、landingアルゴリズムはトレーニング速度と最終的性能でどのように差をつけるか？
• RQ5 （例：小規模バッチ対大規模バッチ）どのような状況（例えば、小バッチ対大バッチ）でlandingアルゴリズムが最大の計算的利点を示すか？

主な発見

• MNIST における LeNet5 と CIFAR-10 における ResNet18 の学習において、landingアルゴリズムは再投影ベースの手法に比べて最大50％速く、特にバッチサイズが小さい場合に顕著である。
• 反復回数に伴う数値誤差の蓄積が少ないため、再投影ベースの手法よりも低い直交化誤差を達成している。
• LeNet5 を用いた MNIST では、モーメンタムを組み込んだlandingアルゴリズムが、すべての再投影ベース手法を上回り、速度と最終的な直交性の両面で優れている。
• Adam や RMSProp を用いた自明化法は、各ステップで行列指数関数のバックプロパゲーションが必要なため、10倍以上遅く、テスト誤差は最低水準に達している。
• 大規模バッチサイズでは、バックプロパゲーションのコストが支配的になるため、landing法の計算的利点は薄れるが、数値的精度の優位性は維持される。
• 低精度の深層学習フレームワークでも、retractionベースの手法が直交多様体から逸脱する傾向にあるのに対し、landing法は高い精度を維持している。

Figure 2: Time required to compute $500$ retractions $\tilde{\mathcal{R}}(X,A)$ when $A$ and $X$ are of size $p\times p$ , on a GPU.