[논문 리뷰] Learning step sizes for unfolded sparse coding

Pierre Ablin, Thomas Moreau외 2명|arXiv (Cornell University)|2019. 05. 27.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 희박한 해를 위한 수렴 속도를 크게 향상시키기 위해 반복적 수축-임계값 알고리즘(ISTA)의 스텝 크기만 학습하는 신경망 아키텍처인 Step-LISTA(SLISTA)를 제안한다. 이론적으로는 수렴하는 LISTA 네트워크의 깊은 층들이 학습된 스텝 크기를 가진 ISTA로 수렴함을 증명하고, 실험적으로는 희박도가 높은 영역에서 최신 기법들을 능가하는 성능을 보이며 사전 구조를 유지함을 확인한다.

ABSTRACT

Sparse coding is typically solved by iterative optimization techniques, such as the Iterative Shrinkage-Thresholding Algorithm (ISTA). Unfolding and learning weights of ISTA using neural networks is a practical way to accelerate estimation. In this paper, we study the selection of adapted step sizes for ISTA. We show that a simple step size strategy can improve the convergence rate of ISTA by leveraging the sparsity of the iterates. However, it is impractical in most large-scale applications. Therefore, we propose a network architecture where only the step sizes of ISTA are learned. We demonstrate that for a large class of unfolded algorithms, if the algorithm converges to the solution of the Lasso, its last layers correspond to ISTA with learned step sizes. Experiments show that our method is competitive with state-of-the-art networks when the solutions are sparse enough.

연구 동기 및 목표

• 희박한 해를 위한 ISTA의 수렴 속도를 학습된 적응형 스텝 크기를 통해 가속화하기 위해.
• 모든 파rameter를 학습하지 않고 스텝 크기만 학습하는 실용적인 신경망 아키텍처를 개발하기 위해.
• 학습된 ISTA 네트워크의 깊은 층들이 반드시 학습된 스텝 크기를 가진 ISTA로 수렴해야 하는 이유를 이론적으로 정당화하기 위해.
• 높은 희박도 조건에서 스텝 크기만 학습하는 것이 최신 기법들과 경쟁 가능한 성능을 낼 수 있음을 검증하기 위해.
• 디커플링 구조를 유지함으로써 컨volutional 또는 웨이블릿 기반 모델과 같은 구조적 설정에서의 적용 가능성을 확보하기 위해.

제안 방법

• 희박도 인식 리프시츠 상수를 활용해 더 크고 적응형 스텝 크기를 계산하는 분석 전략인 Oracle-ISTA를 제안하여 ISTA의 수렴 속도를 향상시킴.
• 모든 층에서 스텝 크기 파ram터 α만 학습하고 디커플링 D는 고정하는 신경망인 Step-LISTA(SLISTA)를 도입.
• 다양이 가능한 계층별 업데이트 규칙을 사용: z^(t+1) = ST(z^(t) - α^(t) D^T(Dz^(t) - x), λα^(t))로, α^(t)는 학습 가능한 파ram터임.
• 정리 4.4에서 이론적으로 어떤 수렴하는 LISTA 네트워크의 가장 깊은 층들이 반드시 학습된 스텝 크기를 가진 ISTA로 수렴해야 한다고 증명함. 즉, W^(t) → D 이고 α^(t)/β^(t) → 1임.
• 재구성 오차를 최소화하기 위해 비지도 손실을 사용하여 합성 및 반실제 데이터(예: MNIST 숫자)에 대해 SLISTA를 실험적으로 학습함.
• 다양한 정규화 파ram터 λ에 대해 테스트 손실 곡선을 그려 ISTA, LISTA, ALISTA와의 성능을 비교함.

실험 결과

연구 질문

• RQ1 ISTA 내 스텝 크기만 학습하는 것이 희박한 해를 위한 수렴 속도를 크게 향상시킬 수 있는가?
• RQ2 깊이 있는 학습된 ISTA 네트워크에서 학습된 스텝 크기가 나타나는 데 이론적인 근거는 무엇인가?
• RQ3 높은 희박도 조건에서 SLISTA가 전체 LISTA 및 ALISTA와 비교해 테스트 손실과 수렴 속도 측면에서 어떻게 성능을 내는가?
• RQ4 SLISTA에서 디커플링 구조를 유지함으로써 구조적 설정에서 더 나은 일반화나 확장성 확보가 가능한가?
• RQ5 ALISTA는 왜 비지도 설정에서 수렴하지 못하는가? 이는 이론적 발견과 어떻게 관련이 있는가?

주요 결과

• 고정규화 파aram터 λ = 0.8일 때 SLISTA는 테스트 손실에서 LISTA 및 ALISTA를 모두 능가하여 높은 희박도 영역에서 뛰어난 성능을 보임.
• 낮은 희박도(낮은 λ) 조건에서는 LISTA가 가장 우수한 성능를 보이며, 이는 해가 덜 희박할 경우 SLISTA가 큰 스텝 크기를 유의미하게 활용하지 못하기 때문임.
• 정리 4.4는 어떤 수렴하는 LISTA 네트워크의 가장 깊은 층들이 반드시 학습된 스텝 크기를 가진 ISTA로 수렴해야 한다고 확인함으로써, SLISTA의 아키텍처 선택을 정당화함.
• 실험 결과로는 학습된 SLISTA 네트워크에서 비율 α^(t)/β^(t)W^(t)가 D로 수렴하는 것으로 나타나, 가중치가 디커플링과 이론적으로 일치함을 확인함.
• SLISTA는 디커플링 구조를 유지하므로 컨volutional 또는 웨이블릿 기반 희박 코딩에 적용하기에 적합하며, 빠른 행렬 곱셈을 활용할 수 있음.
• ALISTA는 비지도 설정에서 수렴하지 못함을 확인하였고, 이는 정리 4.4와 일치함. 이는 W_ALISTA가 스텝 크기를 학습하지 않으면 D와 일치할 수 없다는 것을 보여줌.