[論文レビュー] Improving Lipschitz-Constrained Neural Networks by Learning Activation Functions

Stanislas Ducotterd, Alexis Goujon+4 more|arXiv (Cornell University)|Oct 28, 2022

Advanced Fluorescence Microscopy Techniques被引用数 4

ひとこと要約

本稿では、学習可能な線形スプライン活性化関数を用いた1リプシッツニューラルネットワークのトレーニングのための新規フレームワークを提案する。この手法は、標準的なReLUや他の活性化関数と比較して、表現力と性能を顕著に向上させる。トレーニングを2次全 Variation 正則化を組み込んだ制約付き最適化問題として定式化し、1リプシッツ制約を強制するための新規な SplineProj モジュールを導入することで、プラグアンドプレイアルゴリズムを用いた画像再構成タスクで最先端の結果を達成している。

ABSTRACT

Lipschitz-constrained neural networks have several advantages over unconstrained ones and can be applied to a variety of problems, making them a topic of attention in the deep learning community. Unfortunately, it has been shown both theoretically and empirically that they perform poorly when equipped with ReLU activation functions. By contrast, neural networks with learnable 1-Lipschitz linear splines are known to be more expressive. In this paper, we show that such networks correspond to global optima of a constrained functional optimization problem that consists of the training of a neural network composed of 1-Lipschitz linear layers and 1-Lipschitz freeform activation functions with second-order total-variation regularization. Further, we propose an efficient method to train these neural networks. Our numerical experiments show that our trained networks compare favorably with existing 1-Lipschitz neural architectures.

研究の動機と目的

• リプシッツ制約下で絶対値のような単純な関数を表現できない、ReLU活性化関数を用いた1リプシッツニューラルネットワークの表現力の低さを是正すること。
• 学習可能な線形スプライン活性化関数（LLS）を用いた、効率的かつ安定した1リプシッツニューラルネットワークのトレーニングフレームワークの開発。
• トレーニング中に各スプライン活性化関数のリプシッツ定数が正確に1に保たれることを保証し、ネットワークの安定性と一般化性能を維持すること。
• 1リプシッツ性を維持したまま、スケーリング要因を学習可能とすることでネットワークの表現力を向上させること。
• 従来の1リプシッツアーキテクチャと比較して、プラグアンドプレイ画像再構成タスクにおける優れた性能を示すこと。

提案手法

• 自由形式の活性化関数を用いた1リプシッツニューラルネットワークのトレーニングを、2次全 Variation 正則化を組み込んだ制約付き関数最適化問題として定式化し、区分線形構造の促進を図る。
• 学習可能な線形スプライン活性化関数は、Bスプライン基底を用いてパrameter化され、区分線形関数の柔軟かつ微分可能表現を可能にする。
• 新規な SplineProj モジュールにより、順伝播時にスプラインパラメータを明示的に射影し、1リプシッツ制約を厳密に強制する。これにより、グローバルなリプシッツ制御が可能になる。
• 正規化モジュールにより、各スプラインのスケールが制御されつつも、1リプシッツ性が保持される。これにより、安定性を損なわず表現力を向上させられる。
• SplineProj および正規化モジュールをネットワークアーキテクチャに直接埋め込むことで、1リプシッツ制約を最適化問題に統合し、非制約最適化問題に変換する。
• このフレームワークは、MRI や CT 画像再構成などの逆問題に適用され、前向き・後向き分割法（FBS）を用いたプラグアンドプレイ（PnP）アルゴリズムに適用されている。

実験結果

リサーチクエスチョン

• RQ1 学習可能な1リプシッツ線形スプライン活性化関数は、ReLU や他の固定活性化関数と比較して、1リプシッツニューラルネットワークの表現力と性能を顕著に向上させることができるか？
• RQ2 学習可能な線形スプライン活性化関数を1リプシッツネットワークに用いる理論的根拠はあるか？また、これは適切に定義された最適化問題に対応するか？
• RQ3 学習可能なスプラインに1リプシッツ制約を強制するが、トレーニングダイナミクスに悪影響を及げない、効率的かつ安定したトレーニング手法を開発可能か？
• RQ4 MRI や CT などの逆問題における再構成品質に関して、提案手法は既存の1リプシッツアーキテクチャと比較して優れているか？
• RQ5 1リプシッツ性を維持する学習可能なスケーリング要因の導入は、実際の応用においてネットワークの表現力を向上させるか？

主な発見

• 単コイルMRI再構成では、加速因子4および0.08の条件下で、LLSベースのネットワークがPSNR 31.54、SSIM 0.7924を達成し、ReLU（29.97/0.7574）、AV（30.61/0.7721）、PReLU（30.58/0.7716）を上回った。
• マルチコイルMRI再構成では、加速因子4および0.08の条件下で、LLSがPSNR 38.68、SSIM 0.943を達成し、ReLU（37.21/0.929）、AV（37.81/0.935）、PReLU（37.71/0.934）を上回った。
• ノイズレベルσ=2の低線量CT再構成では、LLSがPSNR 31.85、SSIM 0.844を達成し、ReLU（30.34/0.782）、AV（31.07/0.813）、PReLU（30.87/0.812）を顕著に上回った。
• LLS手法は、MRIおよびCTの両方の実験において、すべてのテストセットおよびノイズレベルで、常にすべてのベースラインを上回り、ロバスト性と一般化性能を示した。
• 理論的分析により、1リプシッツ線形スプラインネットワークが、2次全 Variation 正則化を伴う制約付き関数最適化問題のグローバル最適解であることが確認された。
• 提案された SplineProj モジュールにより、学習可能なスプラインに1リプシッツ制約を効率的かつ正確に強制でき、この手法は実用的かつ安定的であることが示された。