[논문 리뷰] Efficient Mixed-Norm Regularization: Algorithms and Safe Screening Methods

Jie Wang, Jun Liu외 1명|arXiv (Cornell University)|2013. 07. 16.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 9

한 줄 요약

이 논문은 임의의 q ≥ 1에 대해 ℓ₁/ℓ_q-정규화 문제를 해결하기 위한 효율적인 알고리즘 GLEP 1q와 새로운 안전한 스크리닝 방법 Smin을 제안한다. 이 방법은 가속 경사 하강법을 사용하며, 두 개의 영점 탐색 문제를 통해 효율적인 ℓ₁/ℓ_q 유클리드 투영을 해결하고, Smin은 이중 민감도 분석을 활용해 비활성 그룹을 식별하여 대규모 데이터에서 계산량을 최대 1000배까지 감소시킨다.

ABSTRACT

Sparse learning has recently received increasing attention in many areas including machine learning, statistics, and applied mathematics. The mixed-norm regularization based on the l1q norm with q>1 is attractive in many applications of regression and classification in that it facilitates group sparsity in the model. The resulting optimization problem is, however, challenging to solve due to the inherent structure of the mixed-norm regularization. Existing work deals with special cases with q=1, 2, infinity, and they cannot be easily extended to the general case. In this paper, we propose an efficient algorithm based on the accelerated gradient method for solving the general l1q-regularized problem. One key building block of the proposed algorithm is the l1q-regularized Euclidean projection (EP_1q). Our theoretical analysis reveals the key properties of EP_1q and illustrates why EP_1q for the general q is significantly more challenging to solve than the special cases. Based on our theoretical analysis, we develop an efficient algorithm for EP_1q by solving two zero finding problems. To further improve the efficiency of solving large dimensional mixed-norm regularized problems, we propose a screening method which is able to quickly identify the inactive groups, i.e., groups that have 0 components in the solution. This may lead to substantial reduction in the number of groups to be entered to the optimization. An appealing feature of our screening method is that the data set needs to be scanned only once to run the screening. Compared to that of solving the mixed-norm regularized problems, the computational cost of our screening test is negligible. The key of the proposed screening method is an accurate sensitivity analysis of the dual optimal solution when the regularization parameter varies. Experimental results demonstrate the efficiency of the proposed algorithm.

연구 동기 및 목표

• 모든 q > 1에 적용 가능한 일반 목적의 효율적 알고리즘을 개발하여, q=2 또는 ∞와 같은 특수 케이스를 초월한다.
• 일반적인 q에 대해 비가속성 및 복잡한 구조로 인해 비틀림이 있는 ℓ₁/ℓ_q-정규화 유클리드 투영(EP 1q)을 해결하는 데 발생하는 계산적 과제를 다룬다.
• 최소한의 계산 비용으로 해의 비활성 그룹(영성분)을 식별하는 안전하고 효율적인 스크리닝 방법을 설계한다.
• 효율적인 해법과 효과적인 그룹 제거를 결합하여 고차원 데이터에서 ℓ₁/ℓ_q 문제의 확장 가능한 최적화를 가능하게 한다.

제안 방법

• 이중 민감도 분석을 통한 하위문제 효율적 해결을 활용하는 ℓ₁/ℓ_q-정규화 문제를 위한 가속 경사 하강법인 GLEP 1q를 제안한다.
• 비가속성 및 비분리 가능한 노름의 구조를 다루기 위해 두 개의 영점 탐색 문제를 해결하는 새로운 ℓ₁/ℓ_q 유클리드 투영(EP 1q) 알고리즘을 개발한다.
• 단일 데이터 스캔으로 비활성 그룹을 식별할 수 있도록 정확한 이중 최적 해 민감도를 활용하는 안전한 스크리닝 방법 Smin을 도입한다.
• 다양한 정규화 파rameter에서 이중 최적 해의 영역 기반 추정을 통해 정확성과 효율성을 보장한다.
• 이 스크리닝 방법은 기존의 모든 해법과 호환되며, 문제 크기를 줄이기 위해 사전 처리 단계에서 적용할 수 있다.
• 이론적 분석을 통해 일반적인 q에 대해 EP 1q가 q=2 또는 ∞와 같은 특수 케이스보다 훨씬 더 복잡함을 확인한다. 이는 닫힌 형태의 해가 없기 때문이다.

실험 결과

연구 질문

• RQ1 일반적인 q > 1에 대해 q=2 또는 ∞와 같은 특수 케이스를 초월하여 ℓ₁/ℓ_q-정규화 유클리드 투영(EP 1q)을 어떻게 효율적으로 해결할 수 있는가?
• RQ2 일반적인 q에 대해 EP 1q를 해결하는 데 발생하는 계산적 및 이론적 과제는 무엇이며, 이를 어떻게 극복할 수 있는가?
• RQ3 최소한의 계산 오버헤드로 ℓ₁/ℓ_q 문제에서 비활성 그룹을 식별할 수 있는 안전하고 효율적인 스크리닝 방법을 설계할 수 있는가?
• RQ4 특히 고차원 설정에서 최적화 과정 중 처리되는 그룹 수를 줄이는 데 제안된 스크리닝 방법의 효과는 어떠한가?
• RQ5 GLEP 1q와 Smin 스크리닝 방법을 결합했을 때 대규모 데이터셋에서의 확장성과 성능 향상은 어떠한가?

주요 결과

• 제안된 GLEP 1q 알고리즘은 두 개의 영점 탐색 문제를 통해 ℓ₁/ℓ_q 유클리드 투영을 효율적으로 해결함으로써 모든 q > 1에 대해 일반적으로 적용 가능하게 하며, 빠른 성능 향상을 달성한다.
• Smin 스크리닝은 처리되는 그룹 수를 최대 3개의 자리수까지 감소시키며, 200,000개의 특성으로 구성된 데이터셋에서 계산량을 6000배 이상 절감한다.
• q=2인 1000×10000 데이터 행렬에서 Smin은 n_g=400일 때 GLEP 1q의 효율성을 50배 향상시키고, 다른 경우 100배 향상시켰다.
• 스크리닝 방법은 단 한 번의 데이터 스캔만 필요하며, 주 최적화 문제를 해결하는 데 비해 계산 비용은 무시할 만큼 낮다.
• 모든 테스트 차원에서 DPP와 강력한 규칙보다 Smin이 비활성 그룹을 더 효과적으로 제거하여 강건성과 확장성을 입증했다.
• 이론적 분석을 통해 일반적인 q에 대해 EP 1q가 q=2 또는 ∞와 같은 특수 케이스보다 더 복잡함을 확인하였으며, 이는 닫힌 형태의 해가 없고 비가속성 구조가 더 복잡하기 때문이다.