[논문 리뷰] Theoretical study of an adaptive cubic regularization method with dynamic inexact Hessian information

Stefania Bellavia, Gianmarco Gurioli외 1명|arXiv (Cornell University)|2018. 08. 19.

Sparse and Compressive Sensing Techniques인용 수 9

한 줄 요약

이 논문은 비볼록 최적화를 위한 동적 비정확 헤시안 변형인 적응형 정규화를 포함한 입체법(Adaptive Regularization with Cubics, ARC) 방법을 제안한다. 여기서 헤시안 근사값은 정확성과 계산 비용을 균형 있게 조정하기 위해 적응적으로 선택된다. 이 방법은 ARC의 최악의 경우 반복 복잡도 경계를 유지하면서도, 결정론적 및 확률론적 설정 모두에서 부분적으로 샘플링된 헤시안 정보를 활용하여 대규모 유한합 최소화 문제를 효율적으로 해결할 수 있다.

ABSTRACT

We consider the Adaptive Regularization with Cubics approach for solving nonconvex optimization problems and propose a new variant based on inexact Hessian information chosen dynamically. The theoretical analysis of the proposed procedure is given. The key property of ARC framework, constituted by optimal worst-case function/derivative evaluation bounds for first- and second-order critical point, is guaranteed. Application to large-scale finite-sum minimization based on sub-sampled Hessian is discussed and analyzed in both a deterministic and probabilistic manner.

연구 동기 및 목표

• 대규모 비볼록 최적화 문제에서 정확한 헤시안 계산의 높은 계산 비용을 해결하기 위해.
• 해결 과정의 진전에 따라 적응적으로 선택된 비정확한 헤시안 정보를 사용하는 ARC 프레임워크의 변형을 개발하기 위해.
• 대규모 설정에서 반복 비용을 줄이면서도 ARC의 최적의 최악의 경우 반복 복잡도를 유지하기 위해.
• 헤시안의 부분 샘플링을 결정론적 및 확률론적 설정에서 수행했을 때 제안된 방법의 수렴 행동을 분석하기 위해.
• 기계학습 및 대규모 최적화에서 흔한 유한합 최소화 문제에 대해 실용적인 확장성을 제공하기 위해.

제안 방법

• 최적화 과정 중에 현재 반복값과 임계점에의 진전에 따라 비정확한 헤시안 근사값을 적응적으로 선택한다.
• 기본 ARC 프레임워크에 비정확한 헤시안 정보를 통합하여 충분한 감소와 곡률 제어를 위한 입체 정규화 모델을 유지한다.
• 동적 선택 메커니즘은 수렴 보장을 유지하면서도 계산 오버헤드를 최소화할 수 있도록 헤시안 근사값의 정확성을 충분히 확보한다.
• 유한합 문제에 적용하기 위해 부분적으로 샘플링된 헤시안 행렬을 사용함으로써 반복당 비용을 줄이고 이론적 경계를 유지한다.
• 이론적 분석은 결정론적 및 확률론적 프레임워크를 결합하여, 임계점(1차 또는 2차)에 도달하기 위해 필요한 반복 수를 제한한다.
• 제안된 방법은 ε-근사 2차 임계점에 도달하기 위해 최적의 최악의 경우 복잡도 O(ε⁻¹.⁵) 반복을 유지한다.

실험 결과

연구 질문

• RQ1 ARC 프레임워크에서 정확도가 떨어지는 헤시안 정보를 동적으로 선택해도 수렴 보장이 떨어지지 않을 수 있는가?
• RQ2 유한합 최적화에서 부분 샘플링된 헤시안 근사값이 최악의 경우 반복 복잡도에 어떤 영향을 미치는가?
• RQ3 대규모 비볼록 문제에서 헤시안 정확도와 계산 비용 사이의 트레이드오프를 어떻게 적응적으로 관리할 수 있는가?
• RQ4 비정확한 헤시안 정보 하에서 제안된 방법이 ARC의 최적의 O(ε⁻¹.⁵) 반복 복잡도를 유지하는가?
• RQ5 동적 비정확한 헤시안 ARC 변형에 대해 결정론적 및 확률론적 수렴 경계를 어떻게 설정할 수 있는가?

주요 결과

• 제안된 방법은 원래 ARC 프레임워크와 동일하게 ε-근사 2차 임계점에 도달하기 위한 최적의 최악의 경우 복잡도 O(ε⁻¹.⁵)를 유지한다.
• 비정확한 헤시안 정보의 동적 선택은 수렴 보장을 훼손하지 않으면서도 방법의 강건성과 효율성을 보장한다.
• 부분 샘플링된 헤시안 근사값은 이론적 성능 경계를 유지하면서도 대규모 유한합 문제에 대한 확장 가능한 적용을 가능하게 한다.
• 이론적 분석은 결정론적 및 확률론적 설정 모두에서 수렴을 확인하며, 헤시안 평가 수에 대한 경계를 제시한다.
• 문제의 진전에 따라 헤시안의 비정확성을 적응적으로 조정함으로써 정확성과 계산 비용 사이의 유리한 트레이드오프를 달성한다.
• 이 프레임워크는 정확한 헤시안 계산이 비현실적인 기계학습 및 기타 대규모 최적화 문제에 적용 가능하다.