[논문 리뷰] Structured Sparsity via Alternating Direction Methods

Zhiwei Qin, Donald Goldfarb|arXiv (Cornell University)|2011. 05. 04.

Sparse and Compressive Sensing Techniques참고 문헌 1인용 수 34

한 줄 요약

이 논문은 겹치는 그룹 라소 페널티($l_1/l_2$ 및 $l_1/l_\infty$)를 가진 구조적 희박성 문제를 해결하기 위해 교대 방향 방법을 사용하는 통합된 보정 라그랑주 프레임워크를 제안한다. APLM-S와 FISTA-p 알고리즘을 도입하여 각각 $O(1/k)$ 및 $O(1/k^2)$ 수렴 속도를 입증하였으며, 선형 탐색 없이 기준 데이터셋에서 FISTA 및 ADAL보다 더 빠른 수렴 속도를 달성한다.

ABSTRACT

We consider a class of sparse learning problems in high dimensional feature space regularized by a structured sparsity-inducing norm which incorporates prior knowledge of the group structure of the features. Such problems often pose a considerable challenge to optimization algorithms due to the non-smoothness and non-separability of the regularization term. In this paper, we focus on two commonly adopted sparsity-inducing regularization terms, the overlapping Group Lasso penalty $l_1/l_2$-norm and the $l_1/l_\infty$-norm. We propose a unified framework based on the augmented Lagrangian method, under which problems with both types of regularization and their variants can be efficiently solved. As the core building-block of this framework, we develop new algorithms using an alternating partial-linearization/splitting technique, and we prove that the accelerated versions of these algorithms require $O(\frac{1}{\sqrtε})$ iterations to obtain an $ε$-optimal solution. To demonstrate the efficiency and relevance of our algorithms, we test them on a collection of data sets and apply them to two real-world problems to compare the relative merits of the two norms.

연구 동기 및 목표

• 비연속적이며 분리 불가능한 구조적 희박성 유도 정규화 항을 가진 고차원 학습 문제 최적화의 과제를 해결하기 위해.
• 보정 라그랑주 방법을 사용하여 $l_1/l_2$ 및 $l_1/l_\infty$ 그룹 희박성 문제를 동시에 해결할 수 있는 통합 프레임워크를 개발하기 위해.
• 선형 탐색을 피하고 빠른 수렴 속도를 달성하는 효율적이고 쉽게 튜닝할 수 있는 알고리즘을 설계하기 위해.
• 제안된 프레임워크를 사용하여 실제 데이터셋에서 $l_1/l_2$ 및 $l_1/l_\infty$ 페널의 경험적 성능을 비교하기 위해.

제안 방법

• 비연속 정규화 항과 부드러운 손실을 분리하기 위해 변수 분할을 사용하여 구조적 희박성 문제를 제약 최적화 문제로 공식화한다.
• 등가 제약 문제를 해결하기 위해 보정 라그랑주 방법을 적용하여, 닫힌 형식 또는 효율적인 해를 갖는 하위문제로 분해할 수 있도록 한다.
• $l_1/l_2$ 및 $l_1/l_\infty$ 페널에 대해 $O(1/k)$ 수렴 속도를 갖는 APLM-S(스킵 및 부분 분할 기반의 교대 선형화 방법)를 도입한다.
• 부분 선형화를 적용한 가속화된 프록시멀 방법인 FISTA-p를 개발하여, 두 정규화 유형 모두에 대해 $O(1/k^2)$ 수렴 속도를 달성한다.
• 보정 라그랑주 프레임워크 내에서 동적 페널티 파라미터 업데이트 전략을 도입하여 수렴 속도를 향상시킨다.
• 대규모 설정에서 하위문제를 효율적으로 해결하기 위해 PCG(예비 조건화 공액 기울기)를 활용한다.

실험 결과

연구 질문

• RQ1 보정 라그랑주 방법을 사용하여 $l_1/l_2$ 및 $l_1/l_\infty$ 구조적 희박성 문제를 효율적으로 동시에 해결할 수 있는 통합 프레임워크를 개발할 수 있는가?
• RQ2 부분 선형화 및 분할 기반의 새로운 알고리즘이 이러한 구조적 희박성 문제에서 달성할 수 있는 수렴 속도는 무엇인가?
• RQ3 합성 및 실제 데이터셋에서 FISTA, ADAL, ProxFlow와 비교해 볼 때, 제안된 APLM-S 및 FISTA-p 알고리즘이 속도와 정확도 측면에서 어떻게 성능을 내는가?
• RQ4 이미지 노이즈 제거 및 유전자 선택과 같은 실제 적용 사례에서 $l_1/l_2$와 $l_1/l_\infty$ 페널의 상대적 성능은 어떠한가?
• RQ5 각 반복 단계에서 선형 탐색 또는 목적 함수 평가 없이도 제안된 알고리즘이 빠른 수렴을 달성할 수 있는가?

주요 결과

• FISTA-p 알고리즘은 APLM-S 및 표준 FISTA와 비교해 훨씬 빠른 $O(1/k^2)$ 수렴 속도를 달성한다.
• 5,000개의 특징을 가진 DCT 합성 데이터셋에 $l_1/l_2$ 정규화를 적용한 결과, FISTA-p는 1.83초 만에 해를 도출하여 FISTA(3.02초) 및 ProxFlow(1.97초)보다 CPU 시간 측면에서 뛰어난 성능을 보였다.
• 30,000개의 특징을 가진 $l_1/l_\infty$-정규화된 DCT 데이터셋에 대해 FISTA-p는 8.95초 만에 문제를 해결했으며, FISTA는 2.24e+002초, ADAL은 1.12e+002초가 소요되었다.
• 유방암 데이터셋에 $l_1/l_2$ 정규화를 적용한 결과, FISTA-p는 6.86초 만에 최적 목적 함수 값을 2.9331e+003로 도달했으며, FISTA(5.11e+001초) 및 ProxGrad(7.76e+002초)보다 뛰어난 성능을 보였다.
• APLM-S 및 FISTA-p를 포함한 제안된 프레임워크는 최대 30,000개의 특징을 가진 데이터셋을 포함한 대규모 문제에서 뛰어난 확장성과 강인성을 보였다.
• 알고리즘들은 선형 탐색이 필요 없었으며, 모든 테스트된 데이터셋에서 안정적인 성능을 유지하여 실용성과 튜닝 용이성을 확인했다.