[논문 리뷰] Sample Efficient Stochastic Gradient Iterative Hard Thresholding Method for Stochastic Sparse Linear Regression with Limited Attribute Observation

Tomoya Murata, Taiji Suzuki|arXiv (Cornell University)|2018. 09. 05.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 각 예제당 고정된 수의 특성만 관측 가능한 제한된 특성 관측 조건 하에서 희소 선형 회귀를 위한 샘플 효율적인 확률적 경사 하강법을 제안한다. 반복적 경계 강도화와 적응형 탐색-이득 균형 기법을 융합함으로써, 차원에 대한 개선된 의존성과 함께 $\widetilde{O}(1/\varepsilon)$의 샘플 복잡도를 달성하며, 비제로 계수들이 충분히 클 경우 최소화 최적성에 가까워진다.

ABSTRACT

We develop new stochastic gradient methods for efficiently solving sparse linear regression in a partial attribute observation setting, where learners are only allowed to observe a fixed number of actively chosen attributes per example at training and prediction times. It is shown that the methods achieve essentially a sample complexity of $O(1/\varepsilon)$ to attain an error of $\varepsilon$ under a variant of restricted eigenvalue condition, and the rate has better dependency on the problem dimension than existing methods. Particularly, if the smallest magnitude of the non-zero components of the optimal solution is not too small, the rate of our proposed {\it Hybrid} algorithm can be boosted to near the minimax optimal sample complexity of {\it full information} algorithms. The core ideas are (i) efficient construction of an unbiased gradient estimator by the iterative usage of the hard thresholding operator for configuring an exploration algorithm; and (ii) an adaptive combination of the exploration and an exploitation algorithms for quickly identifying the support of the optimum and efficiently searching the optimal parameter in its support. Experimental results are presented to validate our theoretical findings and the superiority of our proposed methods.

연구 동기 및 목표

• 각 예제에서 훈련 및 예측 시점에서 고정된 수의 특성만 관측 가능한 조건에서 희소 선형 회귀 문제를 해결하고자 한다.
• 부분 관측 조건 하에서 기존의 스토하스틱 희소 회귀 방법의 나쁜 차원 의존 샘플 복잡도 문제를 해결하고자 한다.
• 최소 비제로 계수의 크기가 충분히 크다는 조건 하에서, 근사 최소화 최적 샘플 복잡도를 달성하는 알고리즘을 설계하고자 한다.
• 모든 과거 샘플을 저장하지 않음으로써, 관측된 특성 수와 문제 차원에 비례하는 계산 비용을 유지함으로써 런타임 및 메모리 효율성을 확보하고자 한다.

제안 방법

• 이 방법은 반복적 경계 강도화 연산자를 적용하여 구축한 불편성 경사 추정기를 사용하여 특성 공간 내 탐색을 이끌어낸다.
• 진보적인 탐색(진짜 서포트 식별)과 이득 균형(서포트 내에서 매개변수 추정 개선)을 적응적으로 조합하는 하이브리드 알고리즘을 도입한다.
• 먼저 무작위 탐색 단계를 통해 최적의 희소 해의 서포트를 추정하는 이중 단계 전략을 적용한다.
• 스pars티 및 수렴성을 유지하기 위해 철저히 설계된 단계 크기와 임계값 규칙을 사용하는 확률적 경사 하강 프레임워크를 적용한다.
• 이론적 분석은 추정 오차와 샘플 복잡도를 제한하기 위해 제한된 고유값 조건의 변종을 기반으로 한다.
• Dantzig Selector 기반 방법과 달리, 모든 과거 샘플을 저장하지 않음으로써 메모리 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 제한된 특성 관측 조건 하에서, 근사 최소화 최적 속도에 가까운 샘플 복잡도를 달성하는 스토하스틱 경사 하강법을 설계할 수 있는가?
• RQ2 각 예제에서 관측 가능한 특성의 부분 집합만 존재할 경우, 특성 공간을 효율적으로 탐색할 수 있는가?
• RQ3 비제로 계수의 최소 크기가 이러한 알고리즘의 수렴 속도에 미치는 영향은 무엇인가?
• RQ4 Dantzig Selector나 정규화된 이중 평균화 방법과 비교해, 차원에 대한 샘플 복잡도 의존성에서 더 나은 성능을 달성할 수 있는가?
• RQ5 이 설정에서 높은 통계적 효율성을 달성하면서도 낮은 메모리 및 런타임 비용을 유지할 수 있는가?

주요 결과

• 제안된 방법은 제한된 고유값 조건의 변종 하에서 $\widetilde{O}(1/\varepsilon)$의 샘플 복잡도를 달성하며, 이는 로그 인수를 제외한 최적 수준이다.
• 비제로 계수의 최소값이 0에서 벗어나 있을 경우, 하이브리드 알고리즘의 샘플 복잡도는 전체 정보 알고리즘의 최소화 최적 속도에 가까워진다.
• 알고리즘의 런타임 및 메모리 비용은 각 예제에서 관측된 특성 수와 문제 차원에 비례하여 선형적으로 증가하므로 실용적인 효율성을 확보한다.
• 이론적 분석은 오차가 $\kappa_s$, $R_\infty$, $L_s$, 그리고 $\mathcal{L}(\widetilde{\theta}_0) - \mathcal{L}(\theta_*)$ 갭에 따라 감소하며, 차원과 신뢰도에 대해 로그적 의존성을 보임을 보여준다.
• 실험 결과는 이론적 발견을 검증하며, 수렴 속도와 샘플 효율성 측면에서 기존 방법보다 뛰어난 성능을 보임을 입증한다.
• 고차원 특성과 제한된 관측 예산 조건에서, 진짜 해가 희소하고 계수가 너무 작지 않은 경우, 이전 방법들보다 더 뛰어난 성능을 보인다.