[논문 리뷰] Orthant Based Proximal Stochastic Gradient Method for $\ell_1$-Regularized Optimization

Tianyi Chen, Tianyu Ding외 7명|arXiv (Cornell University)|2020. 04. 07.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 5

한 줄 요약

이 논문은 ℓ₁-정규화 문제를 위한 새로운 확률적 최적화 방법인 OBProx-SG를 제안한다. 이 방법은 보편적 확률적 경사 하강 단계와 기저면 기반 투영 단계를 조합하여 해의 희박성을 극적으로 향상시킨다. 이는 볼록 및 비볼록 설정, 특히 MobileNetV1 및 ResNet18과 같은 딥 뉴럴 네트워크에서도 경쟁 가능한 목적 함수 값과 일반화 정확도를 유지하면서도, Prox-SG보다 최대 21.86배 더 희박한 해를 달성한다.

ABSTRACT

Sparsity-inducing regularization problems are ubiquitous in machine learning applications, ranging from feature selection to model compression. In this paper, we present a novel stochastic method -- Orthant Based Proximal Stochastic Gradient Method (OBProx-SG) -- to solve perhaps the most popular instance, i.e., the l1-regularized problem. The OBProx-SG method contains two steps: (i) a proximal stochastic gradient step to predict a support cover of the solution; and (ii) an orthant step to aggressively enhance the sparsity level via orthant face projection. Compared to the state-of-the-art methods, e.g., Prox-SG, RDA and Prox-SVRG, the OBProx-SG not only converges to the global optimal solutions (in convex scenario) or the stationary points (in non-convex scenario), but also promotes the sparsity of the solutions substantially. Particularly, on a large number of convex problems, OBProx-SG outperforms the existing methods comprehensively in the aspect of sparsity exploration and objective values. Moreover, the experiments on non-convex deep neural networks, e.g., MobileNetV1 and ResNet18, further demonstrate its superiority by achieving the solutions of much higher sparsity without sacrificing generalization accuracy.

연구 동기 및 목표

• 기존의 확률적 방법이 ℓ₁-정규화 최적화에서 빠른 수렴과 높은 희박성을 동시에 달성하는 데에 한계가 있음을 해결하기 위해.
• 표준 보편적 또는 분산 감소 확률적 방법보다 ℓ₁ 정규화의 구조적 특성을 더 효과적으로 활용하기 위해.
• 특히 딥 러닝에서 모델 일반화 능력을 훼손하지 않으면서도 희박성을 향상시키는 방법을 개발하기 위해.
• 볼록 및 비볼록 공식화 모두에 대해 이론적 수렴 보장을 제공하기 위해.
• 모델 표현의 더 희박한 형태를 통해 메모리 및 에너지 효율성에서 실용적 우수성을 입증하기 위해.

제안 방법

• 이 방법은 해의 지원 커버를 예측하기 위한 보편적 확률적 경사 하강 단계와 희박성을 향상시키기 위한 기저면 투영 단계를 번갈아 수행한다.
• 기저면 단계는 현재 기저면의 방향에 의해 정의된 더 큰 영역에 투영하므로, 표준 보편적 업데이트보다 더 극적인 희박성 증진이 가능하다.
• 이중 단계 전략을 사용한다: 먼저 $N_{ ext{P}} = 5N/| ext{B}|$로 설정된 보편적 확률적 경사 하강 단계를 통해 양호한 반복값에 도달하고, 그 후 $N_{ ext{O}} = 5N/| ext{B}|$로 설정된 기저면 투영 단계로 전환하여 희박성 향상한다.
• 비볼록 설정에서는 수렴을 보장하기 위해 확장된 보편적 단계($N_{ ext{P}} = 100N/| ext{B}|$)를 사용하는 수정된 버전인 OBProx-SG(+)를 사용한다.
• 작업의 크기를 고려해 미니배치를 사용하여 기울기를 추정함으로써, 반복당 계산 비용을 줄이고 대규모 문제를 처리할 수 있도록 설계되었다.
• 기저면 하위문제는 현재 반복값의 부호 패턴에 기반하여 구성되며, 이는 구조적 희박성 증진을 가능하게 한다.

실험 결과

연구 질문

• RQ1 확률적 최적화 방법이 ℓ₁-정규화 문제에서 빠른 수렴과 높은 희박성을 동시에 달성할 수 있는가?
• RQ2 기저면 기반 투영 단계가 표준 보편적 경사 하강 단계보다 희박성 증진에 뚜렷한 우수성을 보이는가?
• RQ3 제안된 방법은 비볼록 딥 러닝 설정에서 희박성과 일반화 능력 측면에서 어떻게 성능을 발휘하는가?
• RQ4 Prox-SG, RDA, Prox-SVRG보다 훨씬 더 희박한 해를 생성하면서도 경쟁 가능한 목적 함수 값을 유지할 수 있는가?
• RQ5 이중 단계 설계(보편적 + 기저면)는 희박성 진화와 수렴 행동에 어떤 영향을 미치는가?

주요 결과

• OBProx-SG(+)는 Fashion-MNIST에서 ResNet18에 대해 Prox-SG보다 최대 21.86배 더 높은 희박성을 달성했으며, 밀도가 0.29%에 불과했다.
• CIFAR10에서 MobileNetV1에 적용했을 때, OBProx-SG(+)는 2.90% 밀도(97.1% 희박성)를 달성했으며, 이는 Prox-SG(14.17% 밀도)를 크게 능가했다.
• 모델의 테스트 정확도는 다른 방법들과 유사한 수준을 유지했다(예: MobileNetV1/CIFAR10에서 90.91%), 일반화 능력 저하 없이 성능을 유지함을 시사한다.
• 희박성 진화 분석 결과, OBProx-SG(+)는 초기 단계에서는 Prox-SG와 유사한 성능를 보였지만, 기저면 단계로 전환된 후에는 모든 방법을 크게 앞서는 결과를 보여, 기저면 단계의 희박성 증진 능력을 확인했다.
• 볼록 문제에서는 OBProx-SG가 Prox-SG, RDA, Prox-SVRG보다 희박성과 목적 함수 값 모두에서 뛰어난 성능를 보였으며, 일부 경우에서 더 빠른 수렴을 보였다.
• 이론적 분석을 통해 볼록 문제에서는 기대값 기반 전역 최적해 수렴이 보장되고, 비볼록 문제에서는 정류점에 수렴함을 확인했다.