[논문 리뷰] An Efficient Proximal-Gradient Method for Single and Multi-task Regression with Structured Sparsity

Xi Chen, Qihang Lin외 4명|arXiv (Cornell University)|2018. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 20

한 줄 요약

이 논문은 겹치는 군집 구조를 가진 희소성과 함께 단일 및 다중 작업 회귀를 위한 효율적인 프록시멀-그래디언트 방법을 제안한다. 비연속적인 구조적 희소성 유도 노름의 부드럽게 근사한 것을 활용하여 SOCP 기반 접근법에 비해 더 빠른 수렴 속도와 뛰어난 확장성을 달성한다. 이 방법은 대규모 유전 연관 데이터셋에서 최신 기술 수준의 성능을 보여준다.

ABSTRACT

We consider the optimization problem of learning regression models with a mixed-norm penalty that is defined over overlapping groups to achieve structured sparsity. It has been previously shown that such penalty can encode prior knowledge on the input or output structure to learn an structuredsparsity pattern in the regression parameters. However, because of the non-separability of the parameters of the overlapping groups, developing an efficient optimization method has remained a challenge. An existing method casts this problem as a second-order cone programming (SOCP) and solves it by interior-point methods. However, this approach is computationally expensive even for problems of moderate size. In this paper, we propose an efficient proximal-gradientmethod that achieves a faster convergence rate and is much more efficient and scalable than solving the SOCP formulation. Our method exploits the structure of the non-smooth structured-sparsity-inducing norm, introduces its smooth approximation, and solves this approximation function instead of optimizing the original objective function directly. We demonstrate the efficiency and scalability of our method on simulated datasets and show that our method can be successfully applied to a very large-scale dataset in genetic association analysis.

연구 동기 및 목표

• 겹치는 군집을 가진 혼합 노름 펜얼티를 최적화하는 데 있어 기존 SOCP 기반 방법의 계산 비효율성을 해결하기 위해.
• 단일 및 다중 작업 회귀에서의 구조적 희소성에 대해 확장 가능하고 빠른 최적화 방법을 개발하기 위해.
• 비연속적이며 겹치는 군집 노름의 구조를 활용하여 효율적인 최적화를 가능하게 하기 위해.
• 특히 유전 연관 분석에서의 실제 대규모 데이터셋에서 방법의 효과성을 입증하기 위해.

제안 방법

• 비연속적인 구조적 희소성 유도 노름의 부드러운 근사를 도입하여 효율적인 최적화를 가능하게 한다.
• 비연속성을 다루기 위해 반복적 업데이트를 사용하는 프록시멀-그래디언트 프레임워크를 활용하여 최적화 문제를 수립한다.
• 겹치는 군집 구조를 활용하여 계산적으로 효율적인 프록시멀 연산자를 설계한다.
• SOCP 공식화에서 사용되는 내부점 방법보다 수렴 속도가 더 빠른 알고리즘으로 설계된다.
• 원래 목표 함수의 부드러운 근사를 직접 최적화함으로써 SOCP의 높은 계산 비용을 피한다.
• 이 방법은 매우 대규모 데이터셋, 예를 들어 유전 연관 연구에서의 데이터셋에도 적용 가능하며 확장 가능하다.

실험 결과

연구 질문

• RQ1 구조적 희소성 문제에 대해 부드러운 근사를 사용하는 프록시멀-그래디언트 방법이 SOCP 기반 방법보다 수렴 속도와 확장성 면에서 뛰어나게 되는가?
• RQ2 겹치는 군집 노름의 부드러운 근사는 구조적 희소성 패턴을 얼마나 잘 유지하는가?
• RQ3 제안된 방법은 고차원 특징을 가진 대규모 유전 연관 데이터셋에 대해 효율적으로 확장 가능한가?
• RQ4 기존의 SOCP 기반 접근법에 비해 예측 정확도를 유지하거나 향상시키는가?

주요 결과

• 제안된 프록시멀-그래디언트 방법은 SOCP 기반 내부점 방법보다 유의미하게 더 빠른 수렴 속도를 달성한다.
• 이 방법은 뛰어난 확장성을 보이며, 특히 유전 연관 분석에서의 매우 대규모 데이터셋을 처리할 수 있다.
• 구조적 희소성 유도 노름의 부드러운 근사는 희소성 구조를 손상시키지 않은 채 효율적인 최적화를 가능하게 한다.
• 시뮬레이션 데이터셋에 대한 실증 결과는 방법이 구조적 희소성 패턴을 효과적으로 복원할 수 있음을 확인한다.