[論文レビュー] Random Weight Factorization Improves the Training of Continuous Neural Representations

Sifan Wang, Hanwen Wang+2 more|arXiv (Cornell University)|Oct 3, 2022

Neural Networks and Applications被引用数 6

ひとこと要約

本論文では、座標ベースのMLPにおける線形層の単純な再パrameter化であるランダム重み因子分解を提案する。この手法により、各ニューロンごとに自己適応的学習率を可能にすることで、訓練を改善する。重みをランダム初期化されたスケールおよび方向ベクトルに因子分解することにより、損失関数の形状を再構築し、スペクトルバイアスを軽減し、コンピュータビジョン、グラフィックス、科学計算の多様なタスクにおいて収束を加速する。

ABSTRACT

Continuous neural representations have recently emerged as a powerful and flexible alternative to classical discretized representations of signals. However, training them to capture fine details in multi-scale signals is difficult and computationally expensive. Here we propose random weight factorization as a simple drop-in replacement for parameterizing and initializing conventional linear layers in coordinate-based multi-layer perceptrons (MLPs) that significantly accelerates and improves their training. We show how this factorization alters the underlying loss landscape and effectively enables each neuron in the network to learn using its own self-adaptive learning rate. This not only helps with mitigating spectral bias, but also allows networks to quickly recover from poor initializations and reach better local minima. We demonstrate how random weight factorization can be leveraged to improve the training of neural representations on a variety of tasks, including image regression, shape representation, computed tomography, inverse rendering, solving partial differential equations, and learning operators between function spaces.

研究の動機と目的

• 多スケール信号のための連続的ニューラル表現の訓練という課題に取り組む。このような表現は、収束が遅く、高周波成分の細部をうまく捉えられないことが問題である。
• 座標ベースのMLPにおけるスペクトルバイアスを克服する。ここでは、ネットワークが高周波成分よりも低周波成分を優先して学習してしまう。
• タスク固有のハイパーパramータチューニングや信号に関する事前知識を必要とせず、訓練の安定性と一般化性能を向上させる。
• 最小限のアーキテクチャ変更で標準MLPを強化でき、一貫した性能向上が得られる、即挿し可能な手法を開発する。

提案手法

• ランダム重み因子分解を提案：各ニューロンの重みベクトルを $\bm{w}^{(k,l)} = s^{(k,l)} \cdot \bm{v}^{(k,l)}$ と因子分解し、$s^{(k,l)}$ を学習可能なスケール、$\bm{v}^{(k,l)}$ を一度だけ初期化されるランダムな方向ベクトルとする。
• この因子分解を用いて、MLP内の標準線形層を再パラメータ化し、$\bm{W}^{(l)}$ を $\mathrm{diag}(\bm{s}^{(l)}) \cdot \bm{V}^{(l)}$ に置き換える。
• スケール因子 $s^{(k,l)}$ と方向ベクトル $\bm{v}^{(k,l)}$ を勾配降下法で同時に学習させ、各ニューロンが自らの学習率を適応的に調整できるようにする。
• この因子分解が損失関数の形状を変化させ、パラメータ設定間の距離を短縮し、劣悪な局所最適解からの脱出を高速化することを示す。
• 標準MLP、SIREN、およびオペレータ学習用に変更されたDeepONetsを含む、さまざまなアーキテクチャに、この手法をドロップインリプレースとして適用する。
• 物理情報付きニューラルネットワーク（PINNs）およびDeepONetsにこの手法を統合する。これには、フォーリエ特徴マッピングと残差損失最小化を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ランダム重み因子分解は、連続的ニューラル表現における損失関数の幾何的形状にどのように影響を与えるか？
• RQ2 異なる信号タイプにおいて、ランダム重み因子分解は座標ベースのMLPにおけるスペクトルバイアスをどの程度軽減できるか？
• RQ3 ランダム重み因子分解は、偏微分方程式（PDE）の解法や逆レンダリングなどの高周波信号を含むタスクにおいて、訓練収束性と一般化性能を向上させられるか？
• RQ4 画像回帰、形状表現、オペレータ学習など多様な分野において、タスク固有のチューニングなしに、この手法はどの程度の性能を発揮するか？
• RQ5 因子分解によって誘発される自己適応的学習率は、初期重みが不良であった場合の回復をより速く可能にするか？

主な発見

• ランダム重み因子分解は、画像回帰、形状表現、PDEの解法を含む、すべての評価タスクにおいて、著しく訓練時間を短縮し、収束速度を向上させる。
• この手法により、MLPが高周波成分をより効果的に学習できるようになり、スペクトルバイアスが低減し、細部の再構成精度が向上する。
• バーガーズ方程式（Burgers' PDE）のタスクにおいて、ランダム重み因子分解を適用した物理情報付きDeepONetは、標準モデルおよびSIRENベースラインと比較して、より低いテスト誤差を達成し、未学習の初期条件に対しても一般化性能が向上した。
• 逆レンダリングおよびコンピュータトモグラフィー（CT）タスクにおいて、このアプローチは標準MLPおよびSIRENネットワークを一貫して上回り、信号タイプにかかわらず高いロバスト性を示した。
• ランダム重み因子分解の下では、損失関数の形状がより平坦になり、よりつながりやすくなる。これにより、劣悪な局所最適解からの脱出が高速化され、より良い最適解に到達できる。
• この手法は追加のハイパーパramータチューニングを必要とせず、複雑で多スケールな信号を含む多様なアーキテクチャおよびデータセットにおいて、一貫した性能向上を達成する。