[논문 리뷰] Thresholding gradient methods in Hilbert spaces: support identification and linear convergence

Guillaume Garrigos, Lorenzo Rosasco외 1명|arXiv (Cornell University)|2017. 12. 01.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 5

한 줄 요약

이 논문은 분리 가능한 힐버트 공간에서 $β^{1}$-정규화된 최소제곱 문제에 대해, 연산자 $A$ 또는 문제 구조에 대한 가정 없이 반복 소프트 임계값 알고리즘(ISTA)의 선형 수렴성을 확립한다. 핵심 통찰은 ISTA가 유한한 반복 내에 해의 확장된 지지집합을 식별하며, 이후 목적 함수가 유한차원 부분공간에서 일관되게 조건화되므로 조건화 성질을 통해 선형 수렴이 가능하다는 것이다.

ABSTRACT

We study $\\ell^1$ regularized least squares optimization problem in a separable Hilbert space. We show that the iterative soft-thresholding algorithm (ISTA) converges linearly, without making any assumption on the linear operator into play or on the problem. The result is obtained combining two key concepts: the notion of extended support, a finite set containing the support, and the notion of conditioning over finite dimensional sets. We prove that ISTA identifies the solution extended support after a finite number of iterations, and we derive linear convergence from the conditioning property, which is always satisfied for $\\ell^1$ regularized least squares problems. Our analysis extends to the the entire class of thresholding gradient algorithms, for which we provide a conceptually new proof of strong convergence, as well as convergence rates.

연구 동기 및 목표

• 해석기하학적 관점에서 힐버트 공간 내 임계값 경사 방법의 강한 수렴성과 선형 수렴 속도를 설명하기.
• 연산자 $A$에 대한 단사성 또는 비퇴화성 가정 없이 ISTA의 선형 수렴 조건을 규명하기.
• 확장된 지지집합의 개념을 도입함으로써 유한차원 및 무한차원 수렴 분석을 통합하기.
• 모든 임계값 경사 알고리즘 클래스에 대해 강한 수렴성과 수렴 속도의 새로운 증명 제공하기.

제안 방법

• 진짜 해의 지지집합을 포함하는 유한집합인 확장된 지지집합의 개념을 도입하며, 이는 ISTA가 유한한 반복 내에 식별한다.
• 유한차원 부분공간에서의 $p$-조건화 개념을 사용하여 선형 수렴 속도를 확립한다.
• 문헌 [20]의 조건화에 대한 합 규칙을 적용하여 목적 함수를 개별적으로 조건화된 성분들로 분해한다.
• 모레우의 항등식과 초미분 해석학을 활용해 전진-후진 프레임워크 내의 프록시멀 단계를 분석한다.
• 지지집합 식별을 통해 무한차원 문제를 유한차원 문제로 축소하며, 유리한 기하학적 성질이 선형 수렴을 보장한다.
• ISTA의 반복값이 유한시간 내 지지집합 식별 후 유한차원 부분공간 내에 머무르며 강한 수렴성을 보장함을 증명한다.

실험 결과

연구 질문

• RQ1 연산자 $A$에 대한 가정 없이 힐버트 공간에서 $β^{1}$-정규화된 최소제곱 문제에 대해 ISTA의 선형 수렴성을 확립할 수 있는가?
• RQ2 반복 소프트 임계값 알고리즘이 해의 확장된 지지집합을 유한한 반복 내에 식별하는가?
• RQ3 유한차원 및 무한차원 설정에서 임계값 경사 방법의 수렴 속도를 통일적으로 분석할 수 있는가?
• RQ4 힐버트 공간에서 ISTA의 강한 수렴성은 유한차원 지지집합 식별과 이후 조건화의 결과인가?
• RQ5 비퇴화성 또는 단사성 가정 없이 선형 수렴을 가능하게 하는 데 있어 확장된 지지집합의 역할은 무엇인가?

주요 결과

• ISTA는 연산자 $A$에 관계없이 해의 확장된 지지집합을 유한한 반복 수 내에 식별한다.
• 지지집합 식별 이후 목적 함수는 유한차원 부분공간에서 $2$-조건화되며, 이는 선형 수렴을 보장한다.
• 어떤 분리 가능한 힐버트 공간에서든 $A$에 대한 가정 없이 $β^{1}$-정규화된 최소제곱 문제에 대해 ISTA의 선형 수렴이 보장된다.
• 수렴 속도는 선형이며, 식별된 유한차원 부분공간에서 문제의 조건화에만 의존한다.
• 분석은 $\ell^{p}$ 노름을 가진 엘라스틱넷 정규화로 확장되며, 수렴 속도는 $p \in (1, \infty)$에 따라 달라진다.
• 유한시간 내 지지집합 식별 및 유한차원 조건화를 통해 임계값 경사 방법의 강한 수렴성에 대한 새로운 증명이 확립된다.