[논문 리뷰] A Note on Inexact Condition for Cubic Regularized Newton's Method

Zhe Wang, Yi Zhou외 2명|arXiv (Cornell University)|2018. 08. 22.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 5

한 줄 요약

이 논문은 미래 반복값이 아닌 현재 반복값 정보에만 의존하는 실용적인 부정확성 조건 하에서, 비정확한 삼차 정규화 뉴턴 방법에 대한 이론적 수렴 보장을 처음으로 확립한다. 이는 각 반복 단계에서의 감소가 아닌 전체 반복 동안의 총 충분한 감소 분석을 통해, 정확한 방법과 동일한 순서 수준의 수렴 속도를 달성함을 증명한다.

ABSTRACT

This note considers the inexact cubic-regularized Newton's method (CR), which has been shown in \cite{Cartis2011a} to achieve the same order-level convergence rate to a secondary stationary point as the exact CR \citep{Nesterov2006}. However, the inexactness condition in \cite{Cartis2011a} is not implementable due to its dependence on future iterates variable. This note fixes such an issue by proving the same convergence rate for nonconvex optimization under an inexact adaptive condition that depends on only the current iterate. Our proof controls the sufficient decrease of the function value over the total iterations rather than each iteration as used in the previous studies, which can be of independent interest in other contexts.

연구 동기 및 목표

• 이전 연구에서 제안된 부정확성 조건은 미래 반복값에 의존하므로 실용적으로 적용할 수 없음을 해결하기 위해.
• 현재 반복값 정보에만 기반한 실용적인 부정확성 조건 하에서 비정확한 삼차 정규화의 이론적 수렴을 확립하기 위해.
• 비정확한 방법이 정확한 방법과 동일한 수렴 속도로 제2차 정류점에 수렴함을 보여주기 위해.
• 각 반복 단계에서의 감소가 아닌 전체 반복 동안의 총 함수값 감소를 제어하는 새로운 분석 기법을 도입하기 위해.

제안 방법

• 현재 반복값에만 의존하는 새로운 헤시안 부정확성 조건을 제안: \|H_k - \nabla^2 f(x_k)\| \leq C \|s_k\|, 이는 실용적으로 적용 가능하다.
• 기울기의 유사한 부정확성 조건을 도입: \|g_k - \nabla f(x_k)\| \leq \alpha \|s_k\|.
• 각 단계에서의 감소가 필요 없이 전체 반복 동안의 목적함수 총 충분한 감소를 추적하는 글로벌 분석 프레임워크를 사용한다.
• 웨일 부등식과 헤시안의 리프시츠 연속성을 적용하여 헤시안 근사의 최소 고유값을 바ounds한다.
• 반복 수에 따른 \|s_i\|^3 합의 bound를 유도하여 수렴 속도 분석을 가능하게 한다.
• 정확한 방법과 동일한 속도로 제2차 정류점으로 수렴함을 보여주기 위해, \|\nabla f(x)\|와 \nabla^2 f(x)의 최소 고유값이 모두 0으로 수렴함을 증명한다.

실험 결과

연구 질문

• RQ1 비정확한 삼차 정규화 뉴턴 방법이 현재 반복값 정보에만 의존하는 실용적인 부정확성 조건 하에서 이론적으로 수렴 보장이 가능한가?
• RQ2 이러한 조건 하에서 비정확한 방법이 정확한 방법과 동일한 수렴 속도로 제2차 정류점에 수렴하는가?
• RQ3 비정확한 방법의 수렴 증명에서, 각 반복 단계에서의 감소가 아닌 전체 반복에 걸친 총 충분한 감소 분석이 표준의 각 단계 감소 추론을 대체할 수 있는가?
• RQ4 제안된 부정확성 조건은 미래 반복값이나 고정된 상수에 의존하는 이전 조건과 비교해 어떻게 다른가?

주요 결과

• 현재 반복값에 의존하는 부정확성 조건 \|H_k - \nabla^2 f(x_k)\| \leq C \|s_k\|을 갖는 비정확한 삼차 정규화 뉴턴 방법은 정확한 방법과 동일한 순서 수준의 수렴 속도로 제2차 정류점에 수렴한다.
• 각 반복 단계에서의 충분한 감소가 아닌 전체 반복 동안의 목적함수 총 충분한 감소를 제어하는 새로운 분석 기법을 통해 이 수렴 속도가 확립된다.
• 이 방법은 \|\nabla f(x)\| \to 0 과 \nabla^2 f(x)의 최소 고유값 \to 0 이 단위 스텝 크기의 노름 기준으로 O(1/k^{1/3}) 속도로 수렴함을 보장한다.
• 분석 결과, 어떤 m에 대해 \|\nabla f(x_{m+1})\| \leq O(1/(k-1)^{2/3}) 이고, \nabla^2 f(x_{m+1})의 최소 고유값 \geq -O(1/(k-1)^{1/3}) 임을 확인하여 정확한 방법과 동일한 수렴 순서를 확인한다.
• 이 조건은 이전의 고정된 에프사일론 조건보다 더 적응형이며, \|s_k\|에 따라 스케일링되어 최적화의 초기 단계에서 더 큰 스텝을 허용한다.
• 이 증명 기법은 별도의 관심을 끌 만하며, 이전 반복의 오차를 전체 바ounds에 통합함으로써 더 느슨한 부정확성 조건 하에서도 수렴 분석이 가능하게 한다.