[논문 리뷰] Block Coordinate Descent Only Converge to Minimizers

Enbin Song, Zhubin Shen외 1명|arXiv (Cornell University)|2017. 10. 25.

Stochastic Gradient Optimization Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 비볼록 함수의 비고립 임계점이 존재하는 경우에도 랜덤 초기화 하에 블록 좌표 그래디언트 디센트, 블록 미러 디센트, 프록시멀 블록 좌표 디센트가 거의 확실히 국소 최소점으로 수렴함을 증명한다. 이 결과는 이전의 그래디언트 디센트 연구를 발전시켜 위상수학적 추론과 복소해석학을 활용하여 안정성과 비고립 임계점이 존재하는 경우의 수렴성을 입증한다.

ABSTRACT

Given a non-convex twice continuously differentiable cost function with Lipschitz continuous gradient, we prove that all of block coordinate gradient descent, block mirror descent and proximal block coordinate descent converge to a local minimizer, almost surely with random initialization. Furthermore, we show that these results also hold true even for the cost functions with non-isolated critical points.

연구 동기 및 목표

• 비볼록 최적화에서 약한 미분 가능성 조건 하에 블록 좌표 디센트 변형의 국소 최소점으로의 수렴을 확립하는 것.
• Lee 등 (2016) 이 제기한 열린 문제인 블록 좌표 방법이 안장점을 피하는지 여부를 해결하는 것.
• 이전의 Panageas 와 Piliouras (2016) 의 연구를 일반화하여 비고립 임계점이 존재하는 경우에도 거의 확실한 수렴 결과를 확장하는 것.
• 이전의 스토하스틱 접근 방식과 달리 등방향 노이즈가 필요하지 않은 결정론적 분석을 제공하는 것.
• 그래디언트, 미러, 프록시멀 디센트의 세 주요 블록-좌표 프레임워크에 걸쳐 수렴 보장을 통합하는 것.

제안 방법

• 체인 규칙과 블록별 미분 가능성에 기반해 각 블록 좌표 방법의 반복 사상이 디피오모르피즘임을 증명하는 것.
• 임계점에서 반복 사상의 자코비안을 고유값 분해와 블록 행렬 연산을 통해 간소화된 형태로 변환하는 것.
• 복소해석학의 Rouche 정리를 적용하여 안장점에서 자코비안이 적어도 하나의 고유값을 1보다 큰 크기로 가짐을 보여 수렴성의 불안정성을 입증하는 것.
• 미러 및 프록시멀 방법에서 잠재 함수의 강凸성(strong convexity)을 활용해 그래디언트 사상이 디피오모르피즘임을 보장하는 것.
• 이중 연속 미분 가능한 비용 함수와 리프시츠 연속 그래디언트를 가정할 때 국소 최소점으로의 수렴이 성립함을 확립하는 것.
• 비고립 임계점 처리를 위해 R^n에서 열린 커버의 가чёт한 부분덮개 성질을 활용하여 이전 결과를 확장하는 것.

실험 결과

연구 질문

• RQ1 비볼록 설정에서 랜덤 초기화 하에 블록 좌표 디센트 방법이 거의 확실히 국소 최소점으로 수렴하는가?
• RQ2 비고립 임계점이 존재하는 함수로의 수렴 보장이 확장될 수 있는가?
• RQ3 블록 미러 디센트와 프록시멀 블록 좌표 디센트도 안장점을 피하고 국소 최소점으로 수렴하는가?
• RQ4 등방향 노이즈가 필요 없이 결정론적 블록-좌표 방법이 거의 확실히 최소점으로 수렴할 수 있는가?
• RQ5 안장점에서 블록 업데이트 사상의 자코비안이 크기가 1보다 큰 고유값을 반드시 가지는가? 이는 비최소점에서의 불안정성을 보장한다.

주요 결과

• 그래디언트, 미러, 프록시멀 블록 좌표 디센트의 세 방법 모두 랜덤 초기화 하에 거의 확실히 국소 최소점으로 수렴한다.
• 비용 함수에 비고립 임계점이 존재하는 경우에도 수렴 결과가 성립하여, 이전 연구에서 요구하던 고립 임계점 조건을 일반화한다.
• 안장점에서 반복 사상의 자코비안은 적어도 하나의 고유값을 크기 1보다 큰 것으로 가지며, 이는 비최소점에서의 불안정성을 보장한다.
• 증명은 자코비안을 블록 행렬 형태로 변환하고 Rouche 정리를 적용하여 고유값 크기를 분석하는 데 기반한다.
• 미러 및 프록시멀 방법에서 그래디언트 사상은 강凸성 덕분에 디피오모르피즘임이 보장되며, 이는 매끄러운 역함수 존재를 보장한다.
• 분석은 스토하스틱 노이즈를 회피하고 일정한 스텝 사이즈를 적용하므로 표준 구현에 적용 가능하다.