[논문 리뷰] Between hard and soft thresholding: optimal iterative thresholding algorithms

Haoyang Liu, Rina Foygel Barber|arXiv (Cornell University)|2018. 04. 24.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 9

한 줄 요약

이 논문은 상대적 오목도라는 새로운 측도를 최적화함으로써 기존의 하드 및 소프트 스레시홀딩보다 뛰어난 성능을 보이는 반복적 스레시홀딩 알고리즘의 새로운 클래스를 소개한다. 제안된 역수 스레시홀딩과 ℓq 스레시홀딩(여기서 q ∈ (0,1))은 희박한 선형 회귀에서 최적의 수렴 보장을 달성하며, 조건 수 κ에 대한 의존성이 향상된 Lasso의 예측 오차 경계를 동일하게 유지한다.

ABSTRACT

Iterative thresholding algorithms seek to optimize a differentiable objective function over a sparsity or rank constraint by alternating between gradient steps that reduce the objective, and thresholding steps that enforce the constraint. This work examines the choice of the thresholding operator, and asks whether it is possible to achieve stronger guarantees than what is possible with hard thresholding. We develop the notion of relative concavity of a thresholding operator, a quantity that characterizes the worst-case convergence performance of any thresholding operator on the target optimization problem. Surprisingly, we find that commonly used thresholding operators, such as hard thresholding and soft thresholding, are suboptimal in terms of worst-case convergence guarantees. Instead, a general class of thresholding operators, lying between hard thresholding and soft thresholding, is shown to be optimal with the strongest possible convergence guarantee among all thresholding operators. Examples of this general class includes $\ell_q$ thresholding with appropriate choices of $q$, and a newly defined {\em reciprocal thresholding} operator. We also investigate the implications of the improved optimization guarantee in the statistical setting of sparse linear regression, and show that this new class of thresholding operators attain the optimal rate for computationally efficient estimators, matching the Lasso.

연구 동기 및 목표

• 희박 최적화에서 하드 또는 소프트 스레시홀딩보다 더 강력한 최악의 경우 수렴 보장을 제공하는 스레시홀딩 연산자를 규명하는 것.
• 모든 미분 가능하고 희박성 제약이 있는 최적화 문제에 대해 스레시홀딩 연산자의 성능을 특징짓는 이론적 프레임워크인 상대적 오목도를 개발하는 것.
• 최악의 경우 수렴에서 최적 또는 근사 최적인 성능을 보이는 새로운 스레시홀딩 연산자 클래스를 설계하는 것.
• 이러한 신규 연산자가 희박한 선형 회귀에서 Lasso와 동일한 통계적 예측 오차율을 달성할 수 있음을 보여주는 것.

제안 방법

• 반복적 희박 최적화에서 어떤 스레시홀딩 연산자의 최악의 경우 수렴 성능를 평가하기 위한 측도로 상대적 오목도 개념을 도입하는 것.
• 하드 및 소프트 스레시홀딩 사이에 위치하는 일반적인 스레시홀딩 연산자 클래스를 정의하며, 여기에는 q ∈ (0,1)인 ℓq 스레시홀딩과 새로 제안된 역수 스레시홀딩 연산자가 포함된다.
• 제한된 강한 볼록성 및 미분 가능성 조건 하에서, 이 연산자 클래스가 모든 스레시홀딩 연산자 중에서 가장 강력한 수렴 보장을 달성함을 증명하는 것.
• 이러한 연산자를 사용한 반복적 스레시홀딩 알고리즘의 수렴 경계를 유도하며, 하드 스레시홀딩 대비 조건 수 κ에 대한 의존성이 향상됨을 보이는 것.
• 이 프레임워크를 희박한 선형 회귀에 적용하여, 새로운 알고리즘이 Lasso와 동일한 예측 오차율을 달성함을 증명하는 것.
• 역수 스레시홀딩 연산자가 닫힌 형태의 갱신을 가지며, 이는 강력한 이론적 성능을 갖는 효율적인 구현을 가능하게 한다는 것을 보여주는 것.

실험 결과

연구 질문

• RQ1 희박 최적화에서 최악의 경우 수렴 성능를 기반으로 스레시홀딩 연산자를 체계적으로 평가하고 비교할 수 있는가?
• RQ2 희박성 제약 최소화 문제에서 하드 또는 소프트 스레시홀딩이 수렴 보장 측면에서 최적인가?
• RQ3 하드 및 소프트 스레시홀딩 모두를 능가하는 수렴 속도를 갖는 새로운 스레시홀딩 연산자 클래스를 구성할 수 있는가?
• RQ4 이러한 새로운 연산자가 희박한 선형 회귀에서 Lasso와 동일한 통계적 성능를 달성하는가?
• RQ5 역수 스레시홀딩 연산자는 기존의 스레시홀딩 방법에 비해 실용적이고 효율적인 대안이며, 강력한 이론적 보장을 갖는가?

주요 결과

• 스레시홀딩 연산자의 상대적 오목도는 모든 미분 가능하고 희박성 제약이 있는 최적화 문제에서 그 최악의 경우 수렴 성능를 완전히 특징짓는다.
• 일반적으로 사용되는 스레시홀딩 연산자들인 하드 및 소프트 스레시홀딩은 최악의 경우 수렴 보장 측면에서 열등하다.
• ℓq 스레시홀딩(여기서 q ∈ (0,1))과 새로 정의된 역수 스레시홀딩을 포함한 일반적인 스레시홀딩 연산자 클래스는 최적의 수렴 보장을 달성한다.
• 희박한 선형 회귀에서, 역수 연산자를 사용한 반복적 스레시홀딩은 조건 수 κ에 대해 순서 κ · (σ² s₀ log d)/n의 예측 오차 경계를 달성하며, 이는 Lasso의 최적 비율과 일치한다.
• 역수 스레시홀딩 연산자는 닫힌 형태의 갱신을 가지며, 이는 강력한 이론적 성능를 갖는 효율적이고 실용적인 구현을 가능하게 한다.
• 새로운 알고리즘의 수렴 속도는 조건 수 κ에 대해 κ의 요소에 의존하며, κ²에 의존하는 것보다 훨씬 더 나은 안정성을 보이며, 악조건에 대한 저항력이 향상된다.