[논문 리뷰] Fast Overlapping Group Lasso

Jun Liu, Jieping Ye|arXiv (Cornell University)|2010. 09. 02.

Statistical Methods and Inference참고 문헌 27인용 수 34

한 줄 요약

이 논문은 가속화된 경사하강법과 부드러운 이중 문제 해결을 통한 새로운 프록시 연산자 계산을 이용하여 오버랩핑 그룹 라소를 위한 효율적인 알고리즘인 FoGLasso를 제안한다. 초기에 영군을 식별하고 온난 스타트를 활용함으로써 FoGLasso는 유전자 발현 데이터에서 SLasso 대비 최대 70배의 속도 향상을 달성하며, 우수한 확장성과 수렴 성능을 보여준다.

ABSTRACT

The group Lasso is an extension of the Lasso for feature selection on (predefined) non-overlapping groups of features. The non-overlapping group structure limits its applicability in practice. There have been several recent attempts to study a more general formulation, where groups of features are given, potentially with overlaps between the groups. The resulting optimization is, however, much more challenging to solve due to the group overlaps. In this paper, we consider the efficient optimization of the overlapping group Lasso penalized problem. We reveal several key properties of the proximal operator associated with the overlapping group Lasso, and compute the proximal operator by solving the smooth and convex dual problem, which allows the use of the gradient descent type of algorithms for the optimization. We have performed empirical evaluations using the breast cancer gene expression data set, which consists of 8,141 genes organized into (overlapping) gene sets. Experimental results demonstrate the efficiency and effectiveness of the proposed algorithm.

연구 동기 및 목표

• 그룹 간 오버랩으로 인해 비비교적 더 복잡한 비오버랩핑 그룹 라소보다 오버랩핑 그룹 라소를 효율적으로 최적화하는 데 도전한다.
• 특히 고차원 생물학적 데이터에서 큰 규모의 오버랩핑 그룹 라소 문제를 위한 확장 가능하고 효율적인 알고리즘을 개발한다.
• 행렬 역행렬 계산이 비용이 많이 들고 전역 수렴 보장을 갖지 못하는 기존 방법들(예: SLasso)의 한계를 극복한다.
• 유전자 발현 분석과 같이 기능이 자연스럽게 오버랩핑 그룹을 이룰 수 있는 실제 응용 분야에서 오버랩핑 그룹 라소의 실용적 적용을 가능하게 한다.

제안 방법

• 오버랩핑 그룹 라소 문제를 해결하기 위해 수렴 속도가 빠른 가속화된 경사하강법(AGD)을 사용한다.
• 부드럽고 볼록한 이중 문제를 해결하여 프록시 연산자를 계산함으로써 기반 경사 방법을 효율적으로 활용할 수 있도록 한다.
• 레마 3을 적용하여 초기에 영군을 식별하고 제거함으로써 이중 문제의 크기를 크게 줄인다.
• 더 큰 정규화 파라미터에서의 해를 재사용함으로써 온난 스타트를 활용하여 수렴 속도를 가속화한다.
• 해의 품질과 종료 정확도를 보장하기 위해 이중성 갭을 수렴 기준으로 사용한다.
• 프록시 연산자 계산을 리치츠 연속 기울기를 갖는 이중 최적화 문제로 재구성하여 빠른 해법에 적합하게 한다.

실험 결과

연구 질문

• RQ1 해석적 해가 없을 경우 오버랩핑 그룹 라소의 프록시 연산자를 효율적으로 계산할 수 있는가?
• RQ2 그룹 오버랩을 어떻게 활용하여 그룹 라소 최적화의 계산 복잡도를 줄일 수 있는가?
• RQ3 비연속성 페널티를 가진 오버랩핑 그룹 라소에 대해 가속화된 경사하강법을 효과적으로 적용할 수 있는가?
• RQ4 실제 데이터에서 기존 방법(예: SLasso)과 비교해 본다면 제안된 방법은 효율성과 확장성 면에서 어떻게 다른가?
• RQ5 고차원 생물학적 데이터에서 오버랩핑 그룹 구조는 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 오버랩핑 엣지가 있는 2,000개 유전자에서 FoGLasso는 SLasso 대비 최대 70배 빠른 계산을 달성했으며, 1,000개 유전자에서는 25배의 속도 향상을 보였다.
• 50회 반복 후 FoGLasso는 80%의 영군을 식별하여 이중 최적화의 실질적 문제 크기를 크게 줄였다.
• 문제 크기 감소와 온난 스타트 덕분에 프록시 연산자 계산을 위한 내부 반복 횟수가 시간이 지남에 따라 감소한다.
• 경로 기반 오버랩핑 경로를 사용할 경우 FoGLasso와 Lasso는 유사한 분류 성능을 보였지만, 엣지 기반 오버랩핑 엣지를 사용할 경우 FoGLasso가 Lasso를 능가했다.
• 에 borded 오류율은 엣지 기반 그룹을 사용할 때 FoGLasso에서 더 낮았으며, 이는 분류 성능 향상에 기여했다.
• 이중성 갭은 수렴 모니터링과 해 품질 보장에 효과적으로 사용되었으며, 갭이 10⁻¹⁰ 미만일 때 종료되었다.