[논문 리뷰] Two-Layer Feature Reduction for Sparse-Group Lasso via Decomposition of Convex Sets

Jie Wang, Jieping Ye|arXiv (Cornell University)|2014. 10. 15.

Systemic Lupus Erythematosus Research참고 문헌 26인용 수 17

한 줄 요약

이 논문은 희소 그룹 라소(Sparse-Group Lasso, SGL)를 위한 이중 계층 특징 감소 방법인 TLFre를 제안한다. TLFre는 이중 탇행 가능 영역을 분해하여 비활성 그룹과 특징을 효율적으로 식별함으로써 막대한 계산 속도 향상을 가능하게 한다. TLFre는 ℓ1 및 ℓ2 정규화를 동시에 적용하는 다중 희박성 유도 정규화를 처리할 수 있는 최초의 방법이며, 최소한의 오버헤드로 SGL 및 비음성 라소의 효율성을 수개의 주기수만큼 향상시킨다.

ABSTRACT

Sparse-Group Lasso (SGL) has been shown to be a powerful regression technique for si-multaneously discovering group and within-group sparse patterns by using a combination of the `1 and `2 norms. However, in large-scale applications, the complexity of the regularizers entails great computational challenges. In this paper, we propose a novel two-layer feature reduction method (TLFre) for SGL via a decomposition of its dual feasible set. The two-layer reduction is able to quickly identify the inactive groups and the inactive features, respectively, which are guaranteed to be absent from the sparse representation and can be removed from the optimization. Existing feature reduction methods are only applicable for sparse models with one sparsity-inducing regularizer. To our best knowledge, TLFre is the first one that is capable of dealing with multiple sparsity-inducing regularizers. Moreover, TLFre has a very low com-putational cost and can be integrated with any existing solvers. We also develop a screening method—called DPC (decomposition of convex set)—for the nonnegative Lasso problem. Ex-periments on both synthetic and real data sets show that TLFre and DPC improve the efficiency of SGL and nonnegative Lasso by several orders of magnitude. 1

연구 동기 및 목표

• ℓ1 및 ℓ2 노름을 조합한 복잡한 정규화로 인해 대규모 설정에서 Sparse-Group Lasso(SGL)의 계산 비용이 높아지는 문제를 해결한다.
• 기존의 특징 감소 방법이 단일 희박성 유도 정규화를 가진 모델에만 적용 가능하다는 한계를 극복한다.
• 다양한 정규화에 적용 가능한 일반화 가능하고 저비용의 특징 감소 프레임워크를 개발하여, 특히 SGL 및 비음성 라소에 적합하게 한다.
• 최적화 이전에 비활성 그룹과 특징을 효율적으로 걸러내어 문제 크기를 줄이고 해의 정확도를 손상시키지 않도록 한다.
• 기존의 SGL 또는 비음성 라소 솔버의 핵심 알고리즘을 수정하지 않고도 원활하게 통합 가능하게 한다.

제안 방법

• SGL의 이중 탇행 가능 영역 분해를 통해 비활성 그룹과 특징을 식별하는 이중 계층 특징 감소(TLFre) 전략을 제안한다.
• 볼록 집합 분해를 활용해 이중 탇행 영역을 그룹 내 및 그룹 간 희박성에 해당하는 구성 요소로 분리함으로써 독립적인 걸러내기를 가능하게 한다.
• 이중 분해 기반 걸러내기 규칙을 적용하여 최적 해에서 반드시 0이 되는 특징과 그룹을 탐지하고 제거한다.
• 유사한 이중 분해 원리를 활용해 비음성 라소 문제 전용으로 설계된 새로운 걸러내기 방법인 DPC(볼록 집합 분해)를 제안한다.
• 계산 비용이 낮고 기존의 SGL 또는 비음성 라소 솔버와 호환되며, 최소한의 사전 처리만을 요구한다.
• 이중 공간에서 ℓ1 및 ℓ2 노름의 기하적 성질을 활용해 엄밀한 걸러내기 조건을 유도하여 안전하고 효율적인 걸러내기를 보장한다.

실험 결과

연구 질문

• RQ1 희소 그룹 라소에서 비활성 그룹과 특징을 동시에 식별할 수 있는 이중 계층 특징 감소 프레임워크를 설계할 수 있는가?
• RQ2 ℓ1 및 ℓ2 노름과 같은 다중 희박성 유도 정규화를 가진 모델로 특징 걸러내기를 확장할 수 있는가?
• RQ3 SGL의 이중 탯행 가능 영역을 어떻게 분해하여 비활성 구성 요소를 효율적이고 안전하게 걸러낼 수 있는가?
• RQ4 이러한 분해 기반 걸러내기 방법을 대규모 SGL 및 비음성 라소 문제에 적용했을 때 계산적 및 실용적 영향은 어떠한가?
• RQ5 제안된 방법은 기존 솔버의 핵심 알고리즘을 수정하지 않고도 통합할 수 있는가?

주요 결과

• TLFre는 최적화 이전에 비활성 그룹과 특징을 제거하여 희소 그룹 라소의 계산 효율성을 주기수 수준으로 향상시킨다.
• 이 방법은 다중 희박성 유도 정규화를 지원하는 최초의 방법으로, 단일 노름 방법을 초월한다.
• 유사한 분해 원리를 기반으로 유도된 비음성 라소용 DPC 걸러내기 규칙도 해의 계산 시간을 크게 단축시킨다.
• TLFre의 계산 비용은 전체 SGL 해법에 비해 극히 낮아 대규모 응용에 실용적이다.
• 합성 및 실세계 데이터셋에 대한 실험을 통해 TLFre가 문제 크기와 런타임을 극적으로 줄이면서도 해의 정확도를 유지하는 것으로 확인되었다.
• 걸러내기 규칙은 증명된 안전성을 보장하여 제거된 특징과 그룹이 실제로 최적 해에서 0임을 보장한다.