[論文レビュー] McTorch, a manifold optimization library for deep learning

Mayank Meghwanshi, Pratik Jawanpuria+3 more|arXiv (Cornell University)|Oct 3, 2018

Human Pose and Action Recognition参考文献 22被引用数 24

ひとこと要約

McTorch は、PyTorch フレームワークに直接リーマン最適化機能を統合することで、深層学習における多様体制約最適化を可能にする PyTorch 拡張です。モジュラー設計により多様体と最適化手法を分離することで、SGD や Adagrad などの標準的な PyTorch モジュールおよび最適化手法とシームレスに統合できるようにし、Stiefel（直交行列）や PositiveDefinite（対称正定値行列）などの多様体にモデルパラメータを制約できます。

ABSTRACT

In this paper, we introduce McTorch, a manifold optimization library for deep learning that extends PyTorch. It aims to lower the barrier for users wishing to use manifold constraints in deep learning applications, i.e., when the parameters are constrained to lie on a manifold. Such constraints include the popular orthogonality and rank constraints, and have been recently used in a number of applications in deep learning. McTorch follows PyTorch's architecture and decouples manifold definitions and optimizers, i.e., once a new manifold is added it can be used with any existing optimizer and vice-versa. McTorch is available at https://github.com/mctorch .

研究の動機と目的

• PyTorch にネイティブな多様体サポートを追加することで、深層学習フレームワークと多様体最適化の間のギャップを埋めること。
• 研究者や実務家が、直交性や正定値性などの多様体制約を深層学習モデルに適用する際の障壁を低減すること。
• 動的計算グラフと autograd システムに、多様体制約付きレイヤーと最適化手法をシームレスに統合すること。
• PyTorch のテンソル操作と計算グラフを再利用することで、効率的で GPU で加速されたリーマン最適化を実現すること。
• 新しい多様体や最適化手法を独立して追加可能で再利用可能な、モジュラーで拡張可能なライブラリを提供すること。

提案手法

• パラメータクラスを拡張し、多様体仕様を受容可能にすることで、多様体上での初期化と rgrad 属性によるリーマン勾配の追跡を可能にしました。
• リーマン多様体操作の基本的なメソッドを定義する基底クラス Manifold を導入し、rand（ランダム点生成）、retr（接ベクトルの写像用再構成）、egrad2rgrad（ユークリッド勾配からリーマン勾配への変換）の抽象メソッドを含めました。
• SGD や Adagrad、共役勾配法などの既存の PyTorch 最適化手法を変更し、リーマン勾配を使用して再構成に基づく更新を実行するようにしました。
• レイヤー重みの形状に適合する多様体オブジェクトを生成するための ManifoldShapeFactory を導入し、初期化が多様体制約に従うようにしました。
• レイヤー定義に新しい weight_manifold 属性を追加することで、多様体制約付きの線形および畳み込みレイヤー（Linear、Conv1d、Conv2d、Conv3d）を実装しました。
• すべての数値演算を PyTorch のテンソル API を使用して実装することで、CPU および GPU 計算の完全なサポートと、エンドツーエンドの微分可能性を確保しました。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、多様体最適化を PyTorch の深層学習フレームワークに効率的かつシームレスに統合できるか？
• RQ2 多様体と最適化手法を分離するモジュラー設計は、深層学習におけるリーマン最適化の柔軟性と拡張性を高められるか？
• RQ3 McTorch は、バックプロパゲーションや GPU 加速といった一般的な深層学習演算を維持しながら、多様体上でのパラメータの妥当性を厳密に保つことができるか？
• RQ4 McTorch は、直交重み初期化といった実用的な多様体制約を、標準的な深層学習アーキテクチャでどのように実装できるか？
• RQ5 実世界の深層学習タスクにおいて、直交性や正定値性などの制約を持つモデルを訓練する際、McTorch の実装可能性とパフォーマンスはどの程度か？

主な発見

• McTorch は、既存のコードを最小限に変更することで、PyTorch に多様体制約付き最適化を効果的に拡張でき、1つのパラメータ属性で Stiefel や PositiveDefinite のような多様体にレイヤー重みを制約できることが確認されました。
• ライブラリは PyTorch の autograd システムと完全に互換性があり、バックプロパゲーションが egrad2rgrad 変換を通じて正しくリーマン勾配を計算することを保証しています。
• Adagrad や SGD などの最適化手法は、再構成とリーマン勾配を使用することで、リーマン最適化に適切に改造され、多様体上でのパラメータの妥当性が維持されています。
• モジュラー設計により、任意の新しい多様体を任意の既存の最適化手法と、逆に任意の最適化手法を任意の新しい多様体と組み合わせて使用でき、拡張性が著しく向上し、実装のオーバーヘッドが低減されています。
• McTorch は CPU と GPU の両方の計算をサポートしており、すべての数値演算が PyTorch のテンソル操作に基づいて実装されているため、高いパフォーマンスと既存の深層学習ワークフローとの互換性が確保されています。
• ライブラリは BSD-3-Clause ライセンスでリリースされており、https://github.com/mctorch/mctorch で公開されており、コミュニティの採用を支援するための例題とベンチマークも開発中です。