[論文レビュー] Hyperparameter Tuning is All You Need for LISTA

Xiaohan Chen, Jialin Liu+2 more|arXiv (Cornell University)|Oct 29, 2021

Image and Signal Denoising Methods被引用数 8

ひとこと要約

本稿では、中間残留誤差とスパarsityに配慮したルールを用いて層パラメータを動的に計算することで、超線形収束を達成する、極めて軽量で適応可能なLISTAの変種、HyperLISTAを提案する。トレーニングは3つのハイパーパrameterのチューニングに限定される。本手法は、観測済みおよび未観測の分布において、特にスパarsityや信号の大きさが変化する状況下でも、最先端のモデルを上回る性能を示す。

ABSTRACT

Learned Iterative Shrinkage-Thresholding Algorithm (LISTA) introduces the concept of unrolling an iterative algorithm and training it like a neural network. It has had great success on sparse recovery. In this paper, we show that adding momentum to intermediate variables in the LISTA network achieves a better convergence rate and, in particular, the network with instance-optimal parameters is superlinearly convergent. Moreover, our new theoretical results lead to a practical approach of automatically and adaptively calculating the parameters of a LISTA network layer based on its previous layers. Perhaps most surprisingly, such an adaptive-parameter procedure reduces the training of LISTA to tuning only three hyperparameters from data: a new record set in the context of the recent advances on trimming down LISTA complexity. We call this new ultra-light weight network HyperLISTA. Compared to state-of-the-art LISTA models, HyperLISTA achieves almost the same performance on seen data distributions and performs better when tested on unseen distributions (specifically, those with different sparsity levels and nonzero magnitudes). Code is available: https://github.com/VITA-Group/HyperLISTA.

研究の動機と目的

• 学習された反復的ソフトスレッショルド法（LISTA）におけるモデルの複雑さと一般化性能のバランスをとる課題に取り組むこと。特に、未観測のデータ分布に対して有効であることを目的とする。
• LISTAにおける学習可能なパラメータの数を減らしつつ、収束速度と再構成精度を維持または向上させること。
• 中間ネットワーク状態とスパarsityパターンに基づいて、層固有のパラメータ（ステップサイズ、しきい値）を計算する理論的裏付けのある適応的パラメータ機構を開発すること。
• 最小限のハイパーパrameterチューニングで最先端の性能を達成し、異なるスパarsityレベルおよび信号の大きさへの一般化性能を向上させること。

提案手法

• 標準的なLISTAおよびALISTAを上回る超線形収束を達成するために、LISTAネットワークの中間変数にモーメンタムを導入する。
• 残留誤差とスパarsityパターンに基づいて、層ごとのステップサイズとしきい値を計算する適応的パラメータルールを導出する。これは、指数的減衰の仮定に基づいて導かれたサポート選択式を用いる。
• 残留誤差のノルムと$∥\bm{A}^+∥_1$-ベースの推定値を用いて、$\|\bm{x}^*\|_\infty$および$\|\bm{x}^{(k)} - \bm{x}^*\|_\infty$を近似し、インスタンスに適応したパラメータ計算を可能にする。
• サポート選択しきい値$p^{(k)}$を$p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$として定式化し、$c$をチューナブルなハイパーパラメータとする。
• すべてのパラメータを前の層の出力から即時に計算する軽量なネットワークを実装し、学習可能な重みが3つのハイパーパラメータを除いて不要になるようにする。
• 理論的分析を活用して、適応的パラメータルールがインスタンス最適な条件下で超線形収束をもたらすことを証明する。

実験結果

リサーチクエスチョン

• RQ1 LISTAの中間変数にモーメンタムを導入することで超線形収束が達成され、未観測データへの一般化性能が向上するか？
• RQ2 LISTAの層固有パラメータを中間残留誤差とスパarsityパターンから適応的に計算でき、学習可能な重みの必要性を排除できるか？
• RQ3 LISTAにおける学習可能なパラメータを3つのハイパーパラメータにまで削減しても、性能や収束速度に悪影響を及えるか？
• RQ4 適応的かつパラメータフリーなLISTAの変種は、観測済みおよび未観測のデータ分布において、最先端のモデルと比較してどのように性能を発揮するか？
• RQ5 理論的裏付けのあるインスタンスに適応したパラメータルールは、パラメータ予測に再帰的ネットワークを用いるNA-ALISTAのようなモデルの実証的成功を説明できるか？

主な発見

• HyperLISTAは、中間変数へのモーメンタムの導入と、インスタンス最適な適応的パラメータ計算により、超線形収束を達成する。
• モデルはトレーニングを3つのハイパーパラメータ、すなわちスパarsity減衰率$c$と2つのスケーリング要因のチューニングに限定し、トレーニングプロセスを著しく簡素化する。
• HyperLISTAは観測済みのデータ分布において最先端の性能を達成または上回り、特にスパarsityレベルや非ゼロの信号の大きさが変化する状況下でも、未観測の分布への一般化性能が優れている。
• 理論的分析により、適応的パラメータルールが超線形収束をもたらすことが証明され、ステップサイズを$\gamma^{(k)} = 1/\sigma_i$に設定した場合、$\widetilde{K}_3 + |S| + 1$回の反復で収束が達成される。
• サポート選択式$p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$は、推論中に正確かつ適応的にスパarsityを追跡可能である。
• 実験的結果により、適応的パラメータ機構が一様なパラメータ設定を上回ることを確認し、NA-ALISTAのような再帰的ネットワークを用いてパラメータ予測を行うモデルの実証的成功に対する理論的根拠が得られた。