[논문 리뷰] Structured Sparse Regression via Greedy Hard-Thresholding

Prateek Jain, Nikhil Rao외 1명|arXiv (Cornell University)|2016. 02. 19.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 13

한 줄 요약

이 논문은 중첩된 그룹을 가진 구조적 희소 회귀를 위한 탐욕적 반복적 하드 프로젝션(IHT) 방법을 제안하며, NP-난해한 프로젝션을 효율적인 탐욕적 근사로 대체하기 위해 하위모듈러 최적화를 사용한다. 이 방법은 조건 수가 높은 경우에도 강력한 이론적 보장을 확보하며(예: $κ \geq 100$), 볼록 및 탐욕적 기준 대비 순서 수준의 속도 향상을 이룩하여 그룹 희소 신호를 신속하고 정확하게 복원한다.

ABSTRACT

Several learning applications require solving high-dimensional regression problems where the relevant features belong to a small number of (overlapping) groups. For very large datasets and under standard sparsity constraints, hard thresholding methods have proven to be extremely efficient, but such methods require NP hard projections when dealing with overlapping groups. In this paper, we show that such NP-hard projections can not only be avoided by appealing to submodular optimization, but such methods come with strong theoretical guarantees even in the presence of poorly conditioned data (i.e. say when two features have correlation $\geq 0.99$), which existing analyses cannot handle. These methods exhibit an interesting computation-accuracy trade-off and can be extended to significantly harder problems such as sparse overlapping groups. Experiments on both real and synthetic data validate our claims and demonstrate that the proposed methods are orders of magnitude faster than other greedy and convex relaxation techniques for learning with group-structured sparsity.

연구 동기 및 목표

• 중첩된 그룹을 가진 희소 회귀에 대해 기존의 반복적 하드 프로젝션(IHT) 방법의 비효율성과 이론적 한계를 해결하기 위해.
• NP-난해한 프로젝션의 필요성을 제거하기 위해 하위모듈러 최적화를 활용해 효율적이고 탐욕적인 근사를 제공하기 위해.
• 데이터 공분산 행렬의 조건 수($\kappa$)가 높더라도 일반적인 제한된 강凸성(RSC)/제한된 강평탄성(RSS) 조건 하에서 수렴 보장을 제공하기 위해.
• 희소 중첩 그룹 및 계층적 그룹 구조와 같은 더 복잡한 희소성 구조로 방법을 확장하기 위해.
• 근사 프로젝션을 통한 IHT의 성능을 경험적으로 검증하여 볼록 리gression 및 다른 탐욕적 방법 대비 속도와 정확성 측면에서의 이점이 있음을 입증하기 위해.

제안 방법

• 중첩된 그룹을 가진 $k^*$-희소 벡터 집합에 대한 NP-난해한 프로젝션을 효율적인 탐욕적 근사로 대체하기 위해 하위모듈러 함수 최대화 기반의 탐욕적 프로젝션 단계를 사용한다.
• 각 반복에서 완전 보정(FC) 단계를 적용하여 해를 개선함으로써 수렴성과 정확성을 향상시킨다.
• 정확한 프로젝션에서 근사 탐욕적 프로젝션으로의 희소 회귀 보장 확장을 가능하게 하는 새로운 분석 프레임워크를 도입하여 일반적인 RSC/RSS 조건 하에서도 수렴 보장을 확보한다.
• 희소 중첩 그룹(SoG) 설정으로의 일반화를 위해 그룹 희소성과 개별 특징 희소성을 모두 고려한 수정된 프로젝션 규칙을 사용한다.
• 중첩되거나 포함된 계층적 관계를 가진 그룹 구조를 위한 계층적 확장 기법을 도입하여 이론적 보장과 계산 효율성을 유지한다.
• 하드 프로젝션 단계에서 데이터에 의존하는 임계값 규칙을 사용하여 잔차 감소 기여도에 기반해 특징을 선택한다.

실험 결과

연구 질문

• RQ1 하위모듈러 최적화 기반의 탐욕적 프로젝션은 중첩된 그룹 희소 회귀에서 NP-난해한 프로젝션을 대체할 수 있을까? 이때 이론적 수렴 보장은 유지되는가?
• RQ2 데이터 공분산 행렬의 조건 수가 높은 경우($\kappa \gg 1$)에도 제안된 IHT 방법이 진짜 희소 벡터 $\bm{w}^*$를 일관되게 복원할 수 있는가?
• RQ3 속도와 정확성 측면에서, 탐욕적 프로젝션을 사용한 IHT의 성능은 볼록 리gression(예: 그룹 라소) 및 다른 탐욕적 방법(예: GOMP, CoGEnT)과 비교해 어떻게 되는가?
• RQ4 IHT 프레임워크는 희소 중첩 그룹 및 계층적 그룹 구조와 같은 더 복잡한 희소성 구조로 확장될 수 있는가?
• RQ5 근사 프로젝션을 사용할 경우 IHT에서 계산 효율성과 추정 정확성 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 IHT 방법은 $n = \Omega\left((s\log\frac{1}{\epsilon} + \kappa^{2}k^{*}\log M)\log\frac{1}{\epsilon}\right)$개의 샘플을 사용하여 $\bm{w}^*$의 $\epsilon$-근사해를 구할 수 있으며, 이는 $\kappa$가 임의로 클 경우에도 성립한다. 이는 이전 방법이 $\kappa \leq 3$를 요구하는 것과 대비된다.
• 노이즈가 있는 설정에서는 $\|\hat{\bm{w}} - \bm{w}^*\| \leq 2\epsilon + \lambda \cdot \kappa \sqrt{\frac{s + \kappa^{2}k^{*}\log M}{n}}$ 보장을 제공하며, 이는 $\kappa$가 크더라도 일관된 추정기로 작용한다. 이는 이전 IHT 방법이 같은 조건에서 일관성이 없음을 보여주는 바이다.
• 조건 수 $\kappa = 10$인 시뮬레이션 데이터에서 IHT-FC는 0.1601초 만에 재구성 오차 21.65%를 달성했으며, CoGEnT(23.53% 오차, 0.1414초)와 GOMP(25.01% 오차, 0.2891초)를 능가했고 CoGEnT보다 10배 빠르게 동작했다.
• 조건 수 $\kappa = 200$인 악조건 설정에서 IHT는 $n \sim 1500$개의 측정값으로 $\bm{w}^*$를 정확히 복원했고, GOMP는 10번의 시행 중 한 번도 $\bm{w}^*$를 복원하지 못했다.
• 유방암 종양 분류 데이터셋에서 IHT-FC는 비교된 모든 방법 중에서 가장 낮은 오분류율을 기록했으며, 근사 프로젝션을 사용함에도 불구하고 경쟁 가능한 성능을 보였다.
• 이 방법은 볼록 리gression 및 다른 탐욕적 방법 대비 순서 수준의 속도 향상을 달성했으며, 시뮬레이션 데이터에서 IHT는 0.0400초, FW는 6.4538초가 소요되어 IHT가 훨씬 더 신속했다.