[논문 리뷰] Theoretical Linear Convergence of Unfolded ISTA and its Practical Weights and Thresholds

Xiaohan Chen, Jialin Liu외 2명|arXiv (Cornell University)|2018. 08. 29.

Optical Systems and Laser Technology인용 수 152

한 줄 요약

논문은 부분 가중치 결합하에서 unfolded ISTA(LISTA)의 선형 수렴을 증명하고, 수렴을 향상시키는 지지 선택 기법을 도입하며, 시뮬레이션과 자연 영상 CS 실험으로 이론을 확인한다.

ABSTRACT

In recent years, unfolding iterative algorithms as neural networks has become an empirical success in solving sparse recovery problems. However, its theoretical understanding is still immature, which prevents us from fully utilizing the power of neural networks. In this work, we study unfolded ISTA (Iterative Shrinkage Thresholding Algorithm) for sparse signal recovery. We introduce a weight structure that is necessary for asymptotic convergence to the true sparse signal. With this structure, unfolded ISTA can attain a linear convergence, which is better than the sublinear convergence of ISTA/FISTA in general cases. Furthermore, we propose to incorporate thresholding in the network to perform support selection, which is easy to implement and able to boost the convergence rate both theoretically and empirically. Extensive simulations, including sparse vector recovery and a compressive sensing experiment on real image data, corroborate our theoretical results and demonstrate their practical usefulness. We have made our codes publicly available: https://github.com/xchen-tamu/linear-lista-cpss.

연구 동기 및 목표

• ISTA를 학습 가능한 네트워크(LISTA)로 펼쳐서 희소 회복을 향상시키려는 동기를 제시한다.
• 참 희소 신호에 대한 선형 수렴을 보장하는 LISTA 가중치의 구조적 조건을 식별한다.
• 수렴 속도와 회복 정확도를 높이기 위한 실용적인 지지 선택 메커니즘을 제안한다.
• 제안된 LISTA 변종이 노이즈 및 노이즈 없는 환경에서 기저선보다 우수하다는 것을 이론적으로와 경험적으로 보인다.

제안 방법

• 부분 가중치 결합 구조 W2 ≈ I − W1A를 도입하고 수렴에 대해 점근적으로 필요하다는 것을 보인다(정리 1).
• 결합 가중치를 갖는 간소화된 LISTA 업데이트를 도출한다: x^{k+1} = η_{θ^k}(x^k + W^{k T}(b − A x^k)).
• 가중치 결합이 있는 LISTA-CP를 제안하고 무잡음 경우에 선형 수렴을 증명한다(정리 2).
• 탐색 가능한 임계 경로를 갖는 지지 선택(SS) 메커니즘으로 LISTA를 향상시켜 LISTA-SS 및 LISTA-CPSS를 도출한다(정리 3).
• 무잡음 및 잡음이 있는 설정에서의 선형 수렴 속도 및 SS를 통한 개선 속도에 대한 수렴 경계와 개선된 속도 제공(완화 가정 하에).

실험 결과

연구 질문

• RQ1 학습 가능한 파라미터 하에서 LISTA가 참 희소 신호로의 선형 수렴을 보장할 수 있는가?
• RQ2 표준 ISTA/FISTA보다 더 빠른 수렴을 가능하게 하는 가중치 구조와 매개변수화는 무엇인가?
• RQ3 임계 기반의 지지 선택을 도입하면 수렴 속도와 회복 정확도가 향상되는가?
• RQ4 제안된 LISTA 변종은 노이즈가 있든 없든, 그리고 좋지 않은 조건의 딕셔너리에서 어떻게 수행하는가?

주요 결과

• 부분 가중치 결합을 갖는 LISTA-2는 수렴을 위한 필요한 조건 W2 → I − W1A 및 θ^k → 0이 필요하다는 것을 보인다(정리 1).
• 가중치 결합을 사용하면 LISTA가 두 매개변수 학습 형태로 간단해지며 실험적으로 기저 LISTA의 성능과 같거나 더 나은 성능을 보인다(LISTA-CP 결과).
• 학습 가능한 파라미터의 수열이 첫 번째 반복부터 선형 수렴을 야기할 수 있음을 보인다(정리 2).
• 학습 가능한 임계값 경로를 통한 임계화(적응 λ 유사 동작)가 시뮬레이션에서 ISTA보다 수렴 및 정확도를 개선한다.
• 임계화된 지지 선택(LISTA-CPSS)은 계층 깊이가 커질수록 LISTA-CP보다 더 빠른 수렴 속도와 더 낮은 정상 상태 오차를 달성한다(정리 3).
• 여러 조건 수에서 ill-conditioned A의 경우 LISTA-CP/CPSS가 LISTA 및 LAMP 대비 우수한 성능을 유지한다.