[論文レビュー] VectorAdam for Rotation Equivariant Geometry Optimization

Selena Ling, Nicholas Sharp+1 more|arXiv (Cornell University)|May 26, 2022

Advanced Numerical Analysis Techniques被引用数 8

ひとこと要約

本稿では、パラメータ内のベクトル構造を保持する回転等長性を備えたAdam最適化アルゴリズムの変種であるVectorAdamを提案する。幾何最適化において座標系依存のアーティファクトを排除し、収束速度が標準Adamと同等またはそれを上回ることを実証した。

ABSTRACT

The Adam optimization algorithm has proven remarkably effective for optimization problems across machine learning and even traditional tasks in geometry processing. At the same time, the development of equivariant methods, which preserve their output under the action of rotation or some other transformation, has proven to be important for geometry problems across these domains. In this work, we observe that Adam $-$ when treated as a function that maps initial conditions to optimized results $-$ is not rotation equivariant for vector-valued parameters due to per-coordinate moment updates. This leads to significant artifacts and biases in practice. We propose to resolve this deficiency with VectorAdam, a simple modification which makes Adam rotation-equivariant by accounting for the vector structure of optimization variables. We demonstrate this approach on problems in machine learning and traditional geometric optimization, showing that equivariant VectorAdam resolves the artifacts and biases of traditional Adam when applied to vector-valued data, with equivalent or even improved rates of convergence.

研究の動機と目的

• 標準Adam最適化子がベクトル値幾何データに適用される際の回転等長性の欠如に対処すること。
• 各成分のモーメント更新に起因する座標系依存のアーティファクトおよびバイアスを排除すること。
• 幾何パラメータのベクトル的性質を尊重する、シンプルで効果的なAdamの修正を考案すること。
• VectorAdamが幾何機械学習および幾何処理タスクにおいて等長性を保ちつつ収束を維持または向上させることを実証すること。
• 等長最適化の拡張が、幾何的インダクティブバイアスを持つニューラルネットワークに与える広範な意味を検討すること。

提案手法

• スカラー成分ごとのモーメント更新を、ベクトル統計（例：ベクトルノルムや方向）を用いたベクトル値パラメータでの更新に変更する。
• スカラーの一次および二次モーメント推定を、勾配の大きさと方向を両方追跡するベクトル値の類似物に置き換える。
• 入力データの回転に対して一貫した変換を示す回転等長性を備えた更新ルールを適用する。
• Adamの適応的学習率メカニズムを維持するが、個々のスカラー成分ではなくベクトル勾配に作用するように拡張する。
• 計算効率を保ちつつ、最小限の変更で既存の最適化パイプラインにVectorAdamを統合する。
• 合成幾何問題および実世界の応用（例：微分可能レンダリングや点群セグメンテーション）の両方で手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 標準Adamは、ベクトル値幾何パラメータを最適化する際、座標系依存のアーティファクトを生じるか？
• RQ2 収束速度を維持しつつ、証明可能な回転等長性を備えたAdamの変種を構築可能か？
• RQ3 3D形状やテクスチャを含む幾何最適化タスクにおいて、VectorAdamは標準Adamと比べてどのように性能を発揮するか？
• RQ4 回転等長性は、PointNetベースのセグメンテーションのような幾何的ディープラーニングにおいて、安定性と一般化性能をどの程度向上させるか？
• RQ5 データから最適化プロセス自体への等長性の拡張が、理論的・実用的意味でどのような影響を及えるか？

主な発見

• VectorAdamは、損失関数が座標系に依存しない場合であっても、幾何最適化における座標系依存のアーティファクトおよびバイアスを排除する。
• 微分可能レンダリングを用いたテクスチャ再構築において、200回のランダム初期化の平均で、標準Adamよりも優れた結果とより速い収束を達成した。
• PointNetを用いた点群セグメンテーションにおいて、10回の実験でテスト損失および正答率の分散が低く、学習の安定性が向上した。
• VectorAdamは、理論的回転等長性を保ちつつ、標準Adamと同等またはそれ以上の収束速度を維持または向上させる。
• 予備の実験では、VectorAdamの利点が座標値データにとどまらず、幾何ニューラルネットワークの重み最適化においても安定性の向上を示している。
• 本手法は計算的に効率的であり、既存のディープラーニングフレームワークと互換性があり、標準Adamへのわずかな修正で実装可能である。