[논문 리뷰] Hyperparameter Tuning is All You Need for LISTA

Xiaohan Chen, Jialin Liu외 2명|arXiv (Cornell University)|2021. 10. 29.

Image and Signal Denoising Methods인용 수 8

한 줄 요약

이 논문은 중간 잔차와 희박성 인지 규칙을 사용하여 계층 파라미터를 동적으로 계산함으로써 초경량이고 적응형인 LISTA 변종인 HyperLISTA를 제안한다. 이는 학습을 단 세 개의 하이퍼파rameter로 조정할 수 있도록 하여 초선형 수렴을 달성한다. 이는 다양한 희박성 수준과 신호 크기에서 볼 때, 볼 수 있는 분포뿐 아니라 볼 수 없는 분포에서도 최신 기술 수준의 모델을 능가한다.

ABSTRACT

Learned Iterative Shrinkage-Thresholding Algorithm (LISTA) introduces the concept of unrolling an iterative algorithm and training it like a neural network. It has had great success on sparse recovery. In this paper, we show that adding momentum to intermediate variables in the LISTA network achieves a better convergence rate and, in particular, the network with instance-optimal parameters is superlinearly convergent. Moreover, our new theoretical results lead to a practical approach of automatically and adaptively calculating the parameters of a LISTA network layer based on its previous layers. Perhaps most surprisingly, such an adaptive-parameter procedure reduces the training of LISTA to tuning only three hyperparameters from data: a new record set in the context of the recent advances on trimming down LISTA complexity. We call this new ultra-light weight network HyperLISTA. Compared to state-of-the-art LISTA models, HyperLISTA achieves almost the same performance on seen data distributions and performs better when tested on unseen distributions (specifically, those with different sparsity levels and nonzero magnitudes). Code is available: https://github.com/VITA-Group/HyperLISTA.

연구 동기 및 목표

• 학습된 반복적 쇼트닝-스태핑 알고리즘(LISTA)에서 모델 복잡성과 일반화 능력의 균형을 맞추는 문제를 해결한다. 특히 볼 수 없는 데이터 분포에 대해.
• LISTA의 학습 가능한 파라미터 수를 줄이되, 수렴 속도와 재구성 정확도를 유지하거나 향상시킨다.
• 중간 네트워크 상태와 희박성 패턴에 기반하여 계층별 파라미터(스텝 사이즈, 임계값)를 계산하는 이론적으로 탄탄한 적응형 파라미터 메커니즘을 개발한다.
• 최소한의 하이퍼파arameter 조정으로 최신 기술 수준의 성능을 달성하여, 다양한 희박성 수준과 신호 크기에 대한 일반화 능력을 향상시킨다.

제안 방법

• 표준 LISTA와 ALISTA를 초월하기 위해 LISTA 네트워크의 중간 변수에 운동량을 도입하여 초선형 수렴을 달성한다.
• 잔차 오차와 희박성 패턴에 기반하여 계층별 스텝 사이즈와 임계값을 계산하는 적응형 파라미터 규칙을 유도한다. 이는 지수 감소 가정에서 유도된 지지 집합 선택 공식을 사용한다.
• 잔차 노름과 $∥\bm{A}^+∥_1$ 기반 추정치를 사용하여 $\|\bm{x}^*\|_\infty$와 $\|\bm{x}^{(k)} - \bm{x}^*\|_\infty$를 근사함으로써, 인스턴스 적응형 파라미터 계산을 가능하게 한다.
• 지지 집합 선택 임계값 $p^{(k)}$를 $p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$로 설정하며, $c$는 조정 가능한 하이퍼파arameter이다.
• 모든 파라미터가 이전 계층 출력에서 실시간으로 계산되는 경량 네트워크를 구현함으로써, 학습 가능한 가중치가 세 개의 하이퍼파arameter를 초과하지 않는 것을 제거한다.
• 이론적 분석을 활용하여, 적응형 파라미터 규칙이 인스턴스 최적 조건 하에서 초선형 수렴을 이끌어낸다는 것을 증명한다.

실험 결과

연구 질문

• RQ1 LISTA의 중간 변수에 운동량을 도입하면 초선형 수렴이 가능하며, 이는 볼 수 없는 데이터에 대한 일반화 능력을 향상시키는가?
• RQ2 LISTA의 계층별 파라미터는 중간 잔차와 희박성 패턴에서 적응적으로 계산될 수 있으며, 학습 가능한 가중치가 필요 없어지는가?
• RQ3 LISTA의 학습 가능한 파라미터 수를 단 세 개의 하이퍼파arameter로 줄이면 성능나 수렴 속도에 손상이 가는가?
• RQ4 적응형, 파라미터 없는 LISTA 변종의 성능은 볼 수 있는 및 볼 수 없는 데이터 분포에서 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ5 이론적으로 탄탄한 인스턴스 적응형 파라미터 규칙은 NA-ALISTA와 같이 반복 네트워크를 사용해 파라미터 예측을 수행하는 모델들의 경험적 성공을 설명할 수 있는가?

주요 결과

• HyperLISTA는 중간 변수에 운동량을 도입하고 인스턴스 최적의 적응형 파라미터 계산을 통해 초선형 수렴을 달성한다.
• 모델은 단지 세 개의 하이퍼파arameter—즉, 희박성 감쇠 비율 $c$와 두 개의 스케일링 인자—조정으로 학습 과정을 크게 단순화한다.
• HyperLISTA는 볼 수 있는 데이터 분포에서는 최신 기술 수준의 성능을 유지하거나 초월하며, 특히 다양한 희박성 수준과 비영인 크기에서 더 뛰어난 일반화 능력을 보여준다.
• 이론적 분석을 통해 적응형 파라미터 규칙이 초선형 수렴을 이끌어내며, 스텝 사이즈가 $\gamma^{(k)} = 1/\sigma_i$로 설정된 경우 $\widetilde{K}_3 + |S| + 1$ 반복 내에 수렴이 달성됨을 증명한다.
• 지지 집합 선택 공식 $p^{(k)} = \frac{1}{c}\log\left(\frac{\|\bm{x}^*\|_\infty}{\|\bm{x}^{(k)} - \bm{x}^*\|_\infty}\right)$는 추론 중 정확하고 적응형인 희박성 추적을 가능하게 한다.
• 경험적 결과는 적응형 파라미터 메커니즘이 균일한 파라미터 설정보다 뛰어난 성능을 보이며, NA-ALISTA와 같이 반복 네트워크를 사용해 파라미터 예측을 수행하는 모델들의 성공에 대한 이론적 근거를 제공한다.