[논문 리뷰] Tradeoffs between Convergence Speed and Reconstruction Accuracy in Inverse Problems

Raja Giryes, Yonina C. Eldar외 2명|arXiv (Cornell University)|2016. 05. 30.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 반복적 역문제 해법기에서 수렴 속도와 재구성 정확도 사이의 이론적 트레이드오프를 수립하며, 저차원 신호 집합의 근사치를 사용함으로써 수렴 속도를 높일 수 있으며 이는 유한한 오차를 수반한다는 것을 보여준다. 주요 기여는 이 트레이드오프를 압축 측정, 희소 복원, 딥러닝과 연결하는 프레임워크를 제공하는 것으로, LISTA와 같은 학습된 반복 알고리즘에 대한 함의를 지닌다.

ABSTRACT

Solving inverse problems with iterative algorithms is popular, especially for large data. Due to time constraints, the number of possible iterations is usually limited, potentially affecting the achievable accuracy. Given an error one is willing to tolerate, an important question is whether it is possible to modify the original iterations to obtain faster convergence to a minimizer achieving the allowed error without increasing the computational cost of each iteration considerably. Relying on recent recovery techniques developed for settings in which the desired signal belongs to some low-dimensional set, we show that using a coarse estimate of this set may lead to faster convergence at the cost of an additional reconstruction error related to the accuracy of the set approximation. Our theory ties to recent advances in sparse recovery, compressed sensing, and deep learning. Particularly, it may provide a possible explanation to the successful approximation of the l1-minimization solution by neural networks with layers representing iterations, as practiced in the learned iterative shrinkage-thresholding algorithm (LISTA).

연구 동기 및 목표

• 시간 제약로 인해 반복적 해법기의 수렴을 조기 중단할 경우 수렴 속도와 재구성 정확도 사이의 트레이드오프를 이해하는 것.
• 저차원 신호 집합의 근사치를 사용하여 반복 알고리즘을 수정함으로써, 단위 반복 비용을 증가시키지 않고도 수렴 속도를 높일 수 있는지 조사하는 것.
• LISTA와 같은 학습된 반복 방법의 성공에 대한 이론적 기반을 제공하는 것. 이는 학습된 레이어를 통해 ℓ1-최소화를 근사하는 방식이다.
• 신호 모델의 근사 오차가 반복 최적화의 수렴 속도와 최종 재구성 정확도에 어떻게 영향을 주는지 수식적으로 정의하는 것.

제안 방법

• 신호가 저차원 집합 𝒦에 속한다고 가정하는 반복 알고리즘 분석 프레임워크를 제안하며, 𝒦의 근사치를 사용한 경우의 수렴을 분석한다.
• 진짜 집합 𝒦가 근사 집합 𝒟로 대체되는 편향 모델을 도입하고, 이로 인한 반복값에서 발생하는 오차의 경계를 유도한다.
• 투영 연산자와 스펙트럼 노름을 사용하여 반복적 수축 및 임계값 처리 알고리즘(ISTA)과 투영 기반 경사 하강법에서 오차 전파를 경계한다.
• 측정 행렬의 조건수와 신호 집합의 근사 품질에 따라 달라지는 이론적 수렴 속도를 유도한다.
• 이론을 학습된 반복적 수축-임계값 처리(LISTA)에 적용하여, 학습된 매개변수들이 ℓ1-구의 근사치를 효과적으로 구현함으로써 표준 ISTA보다 더 빠른 수렴을 이끌어낸다는 것을 보여준다.
• 볼록 해석, 압축 측정, 연산자 이론의 도구를 사용하여 오차를 근사 오차 ϵ과 신호 집합의 기하학적 특성에 따라 경계한다.

실험 결과

연구 질문

• RQ1 진짜 신호 집합의 근사치를 사용함으로써, 유한한 재구성 오차가 발생하더라도 반복적 역문제 해법기의 수렴 속도를 높일 수 있는가?
• RQ2 신호 집합 근사의 정확도와 반복 알고리즘의 수렴 속도 사이의 이론적 관계는 무엇인가?
• RQ3 반복을 조기 중단할 경우, 신호 모델의 근사 오차는 최종 재구성 정확도에 어떻게 영향을 미치는가?
• RQ4 LISTA와 같은 학습된 반복 알고리즘의 성공은 수렴 속도와 근사 오차 사이의 이 트레이드오프로 설명될 수 있는가?
• RQ5 어떤 조건에서 근사 집합의 근사치가 단위 반복 비용을 증가시키지 않고도 더 빠른 수렴을 이끌 수 있는가?

주요 결과

• 이 논문은 저차원 신호 집합의 근사치를 사용함으로써 수렴 속도가 근사 오차 ϵ과 집합의 기하학적 특성에 따라 관련된 요소로 빨라질 수 있음을 수립한다.
• 반복값의 오차가 근사 오차 ϵ과 진짜 신호의 노름에 비례하여 선형으로 증가함을 보여주는 이론적 경계를 도출한다.
• 반복 방법의 수렴 속도가 측정 행렬의 스펙트럼 성질과 집합의 근사 품질에 따라 달라지며, 집합이 잘 근사될수록 더 빠른 수렴이 가능하다는 것을 보여준다.
• 분석을 통해 LISTA의 성공에 대한 이론적 설명을 제공하며, 학습된 매개변수들이 ℓ1-구의 근사치를 효과적으로 구현함으로써 표준 ISTA보다 더 빠른 수렴을 이끌어낸다는 것을 보여준다.
• 유도된 오차 경계는 날카롭고 측정 행렬의 조건수와 신호 집합의 곡률에 따라 달라지며, 속도와 정확도 사이의 트레이드오프를 검증한다.