[논문 리뷰] A Tight Bound of Hard Thresholding

Jie Shen, Ping Li|arXiv (Cornell University)|2018. 04. 01.

Sparse and Compressive Sensing Techniques인용 수 55

한 줄 요약

이 논문은 하드 스위칭 연산자에 대한 날카운 이론적 경계를 확립하여 비볼록 희소 학습 문제에서 새로운 확률적 하드 스위칭 알고리즘의 전역 선형 수렴을 가능하게 한다. 이 경계는 압축 측정에서 제한된 이sovolece 성질과 희소성 간의 다리를 놓으며, 측정 효율성을 향상시키고 더 넓은 행렬 호환성을 가능하게 한다.

ABSTRACT

This paper is concerned with the hard thresholding operator which sets all but the $k$ largest absolute elements of a vector to zero. We establish a {\em tight} bound to quantitatively characterize the deviation of the thresholded solution from a given signal. Our theoretical result is universal in the sense that it holds for all choices of parameters, and the underlying analysis depends only on fundamental arguments in mathematical optimization. We discuss the implications for two domains: Compressed Sensing. On account of the crucial estimate, we bridge the connection between the restricted isometry property (RIP) and the sparsity parameter for a vast volume of hard thresholding based algorithms, which renders an improvement on the RIP condition especially when the true sparsity is unknown. This suggests that in essence, many more kinds of sensing matrices or fewer measurements are admissible for the data acquisition procedure. Machine Learning. In terms of large-scale machine learning, a significant yet challenging problem is learning accurate sparse models in an efficient manner. In stark contrast to prior work that attempted the $\ell_1$-relaxation for promoting sparsity, we present a novel stochastic algorithm which performs hard thresholding in each iteration, hence ensuring such parsimonious solutions. Equipped with the developed bound, we prove the {\em global linear convergence} for a number of prevalent statistical models under mild assumptions, even though the problem turns out to be non-convex.

연구 동기 및 목표

• 진짜 신호에서 하드 스위칭된 해의 이탈을 보편적으로 날카롭게 경계하는 것.
• 진짜 희소성이 알려져 있지 않을 경우 압축 측정에서 제한된 이sovolece 성질(RIP) 조건을 향상시키는 것.
• 대규모 기계 학습에서 희소하고 단순한 모델을 보장하기 위해 각 반복에서 하드 스위칭을 수행하는 확률적 알고리즘을 개발하는 것.
• 유도된 경계를 사용하여 약한 가정 하에 비볼록 통계 모델에 대한 전역 선형 수렴을 증명하는 것.

제안 방법

• 기본 최적화 원리를 사용하여 하드 스위칭된 벡터가 원래 신호에서 벗어나는 정도에 대한 날카운 수학적 경계를 유도한다.
• 이 경계를 적용하여 압축 측정에서 제한된 이sovolece 성질(RIP)과 희소성 간의 관계를 분석하고 기존의 RIP 조건을 개선한다.
• ℓ1-이완을 활용하지 않고도 희소성을 유지하기 위해 각 반복에서 하드 스위칭을 적용하는 새로운 확률적 알고리즘을 제안한다.
• 이론적 경계를 사용하여 약한 가정 하에 다양한 비볼록 통계 모델에 대한 전역 선형 수렴을 증명한다.
• 모든 매개변수 선택에 대해 일반성과 경계의 날카움을 보장하기 위해 수학적 기본 원리에 기반한 최적화 논증을 사용한다.
• 경계가 감지 행렬의 더 날카운 분석을 가능하게 하여 데이터 수집에서 더 많은 행렬 또는 더 적은 측정 수를 허용함을 보여준다.

실험 결과

연구 질문

• RQ1 진짜 신호에서 하드 스위칭된 해의 이탈을 보편적으로 날카롭게 경계할 수 있는 방법은 무엇인가요?
• RQ2 진짜 희소성이 알려져 있지 않을 경우 하드 스위칭 알고리즘에 대한 향상된 제한된 이sovolece 성질(RIP) 조건은 무엇인가요?
• RQ3 각 반복에서 하드 스위칭을 수행하는 확률적 알고리즘이 비볼록 희소 학습 문제에서 전역 선형 수렴을 달성할 수 있을까요?
• RQ4 제안된 경계는 압축 측정에서 감지 행렬의 적용 가능성을 어떻게 향상시키나요?

주요 결과

• 모든 매개변수 선택에 대해 유효하고 기본 최적화 원리에서 유도된 하드 스위칭 이탈에 대한 날카운 보편 경계가 확립되었다.
• 이 경계는 압축 측정에서 개선된 RIP 조건을 가능하게 하여 데이터 수집에서 더 많은 감지 행렬 또는 더 적은 측정 수를 허용한다.
• 제안된 확률적 알고리즘은 ℓ1-이완 없이도 희소 해를 보장하며 최적화 전반에 걸쳐 단순성을 유지한다.
• 약한 가정 하에 여러 비볼록 통계 모델에 대해 전역 선형 수렴이 증명되었으며, 문제의 비볼록 성격을 감안할 때 이는 중요한 결과이다.
• 이론적 프레임워크는 하드 스위칭 알고리즘이 이전에 이해된 것보다 더 강건하고 효율적임을 드러내며, 특히 희소성이 알려져 있지 않을 경우 더욱 그렇다.