[논문 리뷰] Efficient First Order Methods for Linear Composite Regularizers

Andreas A. Argyriou, Charles A. Micchelli외 3명|arXiv (Cornell University)|2011. 04. 07.

Numerical methods in inverse problems참고 문헌 28인용 수 36

한 줄 요약

이 논문은 선형 복합 정규화 항을 가진 최적화 문제를 해결하기 위한 일반적이고 효율적인 1차 방법을 제안한다—예를 들어 겹치는 그룹 Lasso, 융합 Lasso, 다중 작업 학습 등. 이 방법은 기본 함수의 proximity 연산자를 알고 있을 때, 복합 정규화 항의 proximity 연산자를 고정점 반복을 통해 계산함으로써 성능을 향상시킨다. 이 방법은 최적 수렴 속도를 달성하며, 겹치는 그룹 Lasso에 대해 기존의 O(1/T) 방법보다 빠르고, 융합 Lasso 및 트리 구조 그룹 Lasso에 대해서는 O(1/T²) 수렴 속도를 달성한다.

ABSTRACT

A wide class of regularization problems in machine learning and statistics employ a regularization term which is obtained by composing a simple convex function ωwith a linear transformation. This setting includes Group Lasso methods, the Fused Lasso and other total variation methods, multi-task learning methods and many more. In this paper, we present a general approach for computing the proximity operator of this class of regularizers, under the assumption that the proximity operator of the function ωis known in advance. Our approach builds on a recent line of research on optimal first order optimization methods and uses fixed point iterations for numerically computing the proximity operator. It is more general than current approaches and, as we show with numerical simulations, computationally more efficient than available first order methods which do not achieve the optimal rate. In particular, our method outperforms state of the art O(1/T) methods for overlapping Group Lasso and matches optimal O(1/T^2) methods for the Fused Lasso and tree structured Group Lasso.

연구 동기 및 목표

• 기계 학습 및 통계에서 흔한 선형 복합 정규화 항을 가진 최적화 문제를 해결하기 위한 일반적이고 계산적으로 효율적인 방법을 개발하는 것.
• 닫힌 형태의 proximity 연산자가 없는 경우에도 proximity 방법의 적용 범위를 넓히기 위해, 고정점 반복을 통해 복합 정규화 항의 proximity 연산자를 계산할 수 있도록 하는 것.
• 융합 Lasso 및 트리 구조 그룹 Lasso와 같은 광범위한 구조적 희박성 문제에 대해 최적의 수렴 속도—특히 O(1/T²)를 달성하는 것.
• 겹치는 그룹 Lasso에 대해 기존의 O(1/T) 방법보다 수렴 속도를 빠르게 하면서도 다른 복합 정규화 항에 대해서도 효율성을 유지하는 것.
• 선형 변환을 통한 볼록 함수의 선형 조합을 통해 다중 작업 학습, 다중 커널 학습, 사전 학습 등 다양한 문제에 적용 가능한 통합 프레임워크를 제공하는 것.

제안 방법

• 복합 정규화 항 g(x) = ω(Bx)의 proximity 연산자를 계산하기 위해, ω의 proximity 연산자와 선형 변환 B로부터 유도된 고정점 문제를 해결한다.
• 피카르 유형의 고정점 반복을 사용하여 고정점 방정식을 수치적으로 풀며, ω의 proximity 연산자가 닫힌 형태로 제공되거나 유한한 계산으로 가능할 경우 빠르게 수렴한다.
• f가 강하게 미분 가능할 경우 네스테로프의 가속된 1차 방법과 통합되어, 특정 문제에 대해 최적의 O(1/T²) 수렴 속도를 달성한다.
• 이 방법은 문제에 특화된 유도 과정이 필요 없어, ω의 proximity 연산자가 알려져 있는 모든 복합 정규화 항에 적용 가능하다.
• 계산적으로 경량이면서 확장 가능한 단순한 반복적 구조로 구현되어, 고차원 B 행렬을 가진 대규모 문제에도 잘 적용된다.
• 수치적 검증은 proximity 연산자 계산에 피카르 반복을, 전체 최적화에 네스테로프 가속을 사용하며, 목적 함수 감소 및 잔차 노름을 통해 수렴을 모니터링한다.

실험 결과

연구 질문

• RQ1 proximity 연산자가 알려진 ω의 경우에만, 복합 정규화 항 g(x) = ω(Bx)의 proximity 연산자를 일반적이고 효율적으로 계산할 수 있는 방법을 개발할 수 있는가?
• RQ2 제안된 고정점 접근법이 융합 Lasso 및 트리 구조 그룹 Lasso와 같은 구조적 희박성 문제에 대해 최적의 O(1/T²) 수렴 속도를 달성할 수 있는가?
• RQ3 겹치는 그룹 Lasso에 대해 기존의 O(1/T) 방법과 비교했을 때, 제안된 방법의 수렴 속도 및 반복 횟수는 어떻게 되는가?
• RQ4 가속 방법이 아직 확보되지 않은 일반적인 선형 복합 정규화 문제에 대해 이 방법을 적용할 수 있는가?
• RQ5 그래프 구조의 인cid런스 행렬을 포함한 대규모 문제에서 이 방법의 경험적 수렴 행동은 어떠한가?

주요 결과

• 제안된 방법은 겹치는 그룹 Lasso에 대해 최신의 O(1/T) 방법보다 빠른 수렴 속도를 보이며, 수치 실험에서 뚜렷한 성능 향상을 보였다.
• 융합 Lasso 및 트리 구조 그룹 Lasso에 대해서는 알려진 최적 솔버와 동일한 목적 함수 궤적을 보이며, 최적의 O(1/T²) 수렴 속도를 달성했다.
• 일부 경우, 예를 들어 그래프 구조 문제에서는 수렴이 단조롭지 않지만, 여전히 높은 정확도를 달성한다—예를 들어 d=100일 때 제수 611회 반복에서 최적해까지의 거리는 2.2×10⁻⁶이었다.
• 이 방법은 잘 스케일링된다: d=260일 때 평균 반복 수는 3639.2회이며, 기본 MATLAB 구현으로 CPU 시간은 930.8초였다.
• proximity 연산자 계산에 사용된 피카르 반복은 매우 빠르게 수렴하며, 연속된 반복 간 ℓ₂ 차이가 수백 번 이내에 크게 감소한다.
• 이 방법은 효과적 차원이 O(d²)에 이르는 대규모 문제에도 적용 가능하며, d=260 노드까지의 그래프 구조 데이터에서 이를 입증했다.