[논문 리뷰] Iteration Bounds for Finding the $\epsilon$-Stationary Points for Structured Nonconvex Optimization

Bo Jiang, Shuzhong Zhang|arXiv (Cornell University)|2014. 10. 15.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 블록 구조를 가진 비볼록 최적화 문제에 대해 프록시멀 조건부 기울기 및 프록시멀 기울기-투영 알고리즘을 제안한다. 비볼록 목적함수에 적합한 새로운 ϵ-정류성의 개념을 도입하고, 기울기의 일반화된 홀더 연속성 조건 하에서 반복 복잡도 상한이 O(1/ϵ^q)임을 증명하며, 목적함수가 볼록일 경우 O(1/ϵ)로 향상된다. 이 방법들은 텐서 근사와 희소 텐서 PCA에 적용되었으며 유의미한 수치 결과를 보였다.

ABSTRACT

In this paper we study proximal conditional-gradient (CG) and proximal gradient-projection type algorithms for a block-structured constrained nonconvex optimization model, which arises naturally from tensor data analysis. First, we introduce a new notion of $\epsilon$-stationarity, which is suitable for the structured problem under consideration. %, compared with other similar solution concepts. We then propose two types of first-order algorithms for the model based on the proximal conditional-gradient (CG) method and the proximal gradient-projection method respectively. If the nonconvex objective function is in the form of mathematical expectation, we then discuss how to incorporate randomized sampling to avoid computing the expectations exactly. For the general block optimization model, the proximal subroutines are performed for each block according to either the block-coordinate-descent (BCD) or the maximum-block-improvement (MBI) updating rule. If the gradient of the nonconvex part of the objective $f$ satisfies $\| abla f(x) - abla f(y)\|_q \le M \|x-y\|_p^\delta$ where $\delta=p/q$ with $1/p+1/q=1$, then we prove that the new algorithms have an overall iteration complexity bound of $O(1/\epsilon^q)$ in finding an $\epsilon$-stationary solution. If $f$ is concave then the iteration complexity reduces to $O(1/\epsilon)$. Our numerical experiments for tensor approximation problems show promising performances of the new solution algorithms.

연구 동기 및 목표

• 텐서 데이터 분석에서 발생하는 제약 조건이 있고 블록 구조를 가진 비볼록 최적화 문제를 다루기 위해.
• 비볼록, 비미분 가능, 블록 최적화 모델에 적합한 새로운 ϵ-정류성의 개념을 정의하기 위해.
• 증명 가능한 반복 복잡도 상한을 갖는 일阶 알고리즘—프록시멀 조건부 기울기 및 프록시멀 기울기-투영 알고리즘—을 개발하기 위해.
• 목적함수가 기대값을 포함하는 스트로스틱 설정에서 정확한 기울기 계산을 피하기 위해 랜덤 샘플링을 통합하기 위해.
• 희소 텐서 PCA 및 페널티가 부여된 0-분산 선형 판별 분석 문제에 대해 알고리즘을 분석하고 검증하기 위해.

제안 방법

• 모든 y ∈ S에 대해 ∇f(x)⊤(y−x) + h(y)−h(x) ≥ −ϵ 를 만족하는 새로운 ϵ-정류성 조건을 정의하여, 비볼록, 비미분 가능, 제약 조건이 있는 설정으로 표준 정류성의 일반화를 수행한다.
• 두 가지 알고리즘 프레임워크인 프록시멀 조건부 기울기 및 프록시멀 기울기-투영 알고리즘을 개발하며, 모두 BCD 또는 MBI 규칙을 이용한 블록 단위 갱신을 사용한다.
• 기울기의 일반화된 홀더 연속성 조건을 도입한다: ∥∇f(x)−∇f(y)∥_q ≤ M∥x−y∥_p^δ 이며, δ = p/q 이고 1/p + 1/q = 1 이다.
• 스트로스틱 설정에서 기대값을 근사하기 위해 랜덤 샘플링을 적용하여 전체 기울기의 정확한 계산을 피한다.
• 희소 텐서 PCA의 L1-정규화된 부분문제에 대해 닫힌 형태의 해를 갖는 프록시멀 보조 알고리즘을 사용하여 효율적인 구현을 가능하게 한다.
• 적응형 스텝 크기를 갖는 선 탐색 전략을 사용하고, 등식 제약 조건 및 부등식 제약 조건 모두에 대해 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 제약 조건이 있고 비볼록, 비미분 가능, 블록 최적화 문제에 대해 적합한 ϵ-정류성의 개념은 무엇인가?
• RQ2 이러한 구조적 비볼록 문제에 대해 일阶 방법이 향상된 반복 복잡도 상한을 달성할 수 있는가?
• RQ3 비볼록 부분의 부드러움, 특히 기울기의 일반화된 홀더 연속성 하에서 반복 복잡도는 어떻게 달라지는가?
• RQ4 스트로스틱 비볼록 최적화에 대해 프록시멀 알고리즘에 랜덤 샘플링을 효과적으로 통합할 수 있는가?
• RQ5 실제 텐서 및 분류 문제에서 기존의 BCD나 ADMM와 비교해 제안된 알고리즘이 실제로 어떻게 성능을 내는가?

주요 결과

• 제안된 프록시멀 조건부 기울기 및 기울기-투영 알고리즘은 기울기의 일반화된 홀더 연속성 조건 하에서 ϵ-정류해를 찾는 데 총 반복 복잡도가 O(1/ϵ^q)임을 확보한다.
• 비볼록 부분 f 가 볼록일 경우 반복 복잡도는 O(1/ϵ)로 감소하며, 이는 최적의 복잡도이며 볼록 설정에서 알려진 상한과 일치한다.
• 희소 텐서 PCA에 대한 수치 실험 결과, 알고리즘 5(프록시멀 조건부 기울기)가 가장 안정적이며, 수백 번 이내에 항상 비영의 국소 최솟값을 찾는다.
• 알고리즘 6(프록시멀 기울기-투영)는 희소 텐서 PCA에서 자주 영값 해로 수렴하여, 희소성 장려 정규화 항을 다루는 데에 한계가 있음을 시사한다.
• 페널티가 부여된 0-분산 선형 판별 분석 문제에서, 알고리즘 1(α_k = 1)은 ADMM와 동일한 해로 수렴하지만 훨씬 적은 반복 수로 수렴하여 수렴 속도가 뛰어나다는 것을 보여준다.