[논문 리뷰] A General Iterative Shrinkage and Thresholding Algorithm for Non-convex Regularized Optimization Problems

Pinghua Gong, Changshui Zhang외 3명|arXiv (Cornell University)|2013. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 111

한 줄 요약

이 논문은 일반적인 비볼록 페널티에 대해 비볼록 정규화 최적화 문제를 해결하기 위한 일반적 반복 수축 및 임계값 설정(GIST) 알고리즘을 제안한다. 닫힌 형태의 프록시 연산자와 Barzilai-Borwein로 초기화된 선 탐색을 활용하여 GIST는 대규모 희소 학습 문제를 효율적으로 처리하며, 실제 데이터셋에서 빠른 수렴 속도와 뛰어난 경험적 성능을 달성한다.

ABSTRACT

Non-convex sparsity-inducing penalties have recently received considerable attentions in sparse learning. Recent theoretical investigations have demonstrated their superiority over the convex counterparts in several sparse learning settings. However, solving the non-convex optimization problems associated with non-convex penalties remains a big challenge. A commonly used approach is the Multi-Stage (MS) convex relaxation (or DC programming), which relaxes the original non-convex problem to a sequence of convex problems. This approach is usually not very practical for large-scale problems because its computational cost is a multiple of solving a single convex problem. In this paper, we propose a General Iterative Shrinkage and Thresholding (GIST) algorithm to solve the nonconvex optimization problem for a large class of non-convex penalties. The GIST algorithm iteratively solves a proximal operator problem, which in turn has a closed-form solution for many commonly used penalties. At each outer iteration of the algorithm, we use a line search initialized by the Barzilai-Borwein (BB) rule that allows finding an appropriate step size quickly. The paper also presents a detailed convergence analysis of the GIST algorithm. The efficiency of the proposed algorithm is demonstrated by extensive experiments on large-scale data sets.

연구 동기 및 목표

• 희소 학습에서 비볼록 페널티를 가진 대규모 비볼록 최적화 문제를 해결하는 데 도전하는 것.
• 기존의 다단계 볼록 이완 및 DC 프로그래밍 방법의 한계를 극복하여, 대규모 데이터셋에 대해 계산 비용이 높은 문제를 해결하는 것.
• SCAD, MCP, LSP, 캡처드-ℓ₁와 같은 다양한 비볼록 페널티에 적용 가능한 일반 목적 알고리즘을 개발하는 것.
• Barzilai-Borwein 규칙과 비단조화 선 탐색을 사용하여 효율적인 스텝 사이즈 선택을 통해 수렴 속도를 빠르게 하는 것.
• 손실 함수와 정규화 함수에 대한 표준 가정 하에 제안된 알고리즘의 엄밀한 수렴 분석을 제공하는 것.

제안 방법

• 부드럽고 리프시츠-미분 가능한 손실 함수와 비볼록 정규화의 합을 최소화하는 최적화 문제로 공식화한다. 이 정규화는 두 볼록 함수의 차로 표현된다.
• 각 하위문제가 손실의 이차 근사와 스케일된 정규화의 합을 최소화하는 반복 프록시 스킴을 적용한다.
• 일반적인 비볼록 페널티(예: ℓ₁, LSP, SCAD, MCP, 캡처드-ℓ₁)의 프록시 연산자에 대해 닫힌 형태의 해를 사용하여 효율적인 업데이트를 가능하게 한다.
• 수렴 속도를 높이기 위해 선 탐색의 스텝 사이즈를 Barzilai-Borwein 규칙으로 초기화한다.
• 수렴 속도와 안정성을 더욱 향상시키기 위해 비단조화 선 탐색 기준을 사용한다.
• 목적 함수에 대한 표준 가정 하에 전역 수렴을 증명함으로써 임계점으로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 광범위한 페널티 클래스에 걸쳐 비볼록 정규화 최적화 문제를 효율적으로 해결할 수 있는 일반 목적의 반복 알고리즘을 설계할 수 있는가?
• RQ2 기존의 다단계 볼록 이완 또는 DC 프로그래밍과 비교할 때 제안된 GIST 알고리즘의 수렴 속도와 확장성은 어떠한가?
• RQ3 Barzilai-Borwein 초기화와 비단조화 선 탐색의 사용이 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 표준 가정 하에 GIST 알고리즘이 임계점으로 수렴하는가? 이에 대한 이론적 근거는 무엇인가?
• RQ5 현실 세계의 대규모 희소 학습 문제에서 GIST는 최신 기법들과 비교해 얼마나 잘 성능을 발휘하는가?

주요 결과

• GIST 알고리즘은 닫힌 형태의 프록시 업데이트와 Barzilai-Borwein 스텝 사이즈 초기화를 조합하여 대규모 데이터셋에서 빠른 수렴을 달성한다.
• 이 알고리즘은 SCAD, MCP, LSP, 캡처드-ℓ₁와 같은 다양한 비볼록 페널티에 적용 가능하며, 각각에 대해 명시적으로 유도된 닫힌 형태의 해를 제공한다.
• 실제 데이터셋을 대상으로 수행된 광범위한 실험을 통해 GIST는 수렴 속도와 해의 품질 측면에서 기존 방법들을 능가함을 입증한다.
• 수렴 분석을 통해 GIST가 표준 가정 하에 임계점으로 수렴함을 증명하며, 이는 이론적 보장을 제공한다.
• 비단조화 선 탐색의 사용은 안정성과 해의 정확도를 훼손하지 않으면서도 수렴 속도를 더욱 가속화한다.
• 이 알고리즘은 대규모 희소 학습 작업에 대해 확장 가능하고 실용적이며, 전통적인 DC 프로그래밍 접근 방식의 계산적 한계를 극복한다.