[논문 리뷰] Adaptive Step Size Strategy for Orthogonality Constrained Line Search Methods

Xiaoying Dai, Liwei Zhang외 1명|arXiv (Cornell University)|2019. 06. 07.

Matrix Theory and Algorithms참고 문헌 32인용 수 4

한 줄 요약

이 논문은 수렴성을 유지하면서 배경 추적(backtracking)이 필요 없는 직교 제약 선 탐색 방법을 위한 적응형 스텝 사이즈 전략을 제안한다. 이 방법은 전자 구조 계산에서 더 빠른 수렴과 감소된 계산 비용을 달성하며, 다양한 분자 체계에서 반복 수와 런타임 측면에서 전통적인 배경 추적 기반 접근법을 능가한다.

ABSTRACT

In this paper, we propose an adaptive step size strategy for a class of line search methods for orthogonality constrained minimization problems, which avoids the classic backtracking procedure. We prove the convergence of the line search methods equipped with our adaptive step size strategy under some mild assumptions.We then apply the adaptive algorithm to electronic structure calculations, which show that our strategy is efficient and recommended.

연구 동기 및 목표

• 계산 비용이 많이 드는 배경 추적 절차에 의존하지 않으면서 직교 제약 최소화를 위한 스텝 사이즈 전략을 개발하는 것.
• 배경 추적에 의존하지 않고도 온건한 가정 하에 선 탐색 방법의 전역 수렴성을 보장하는 것.
• 전자 구조 계산을 위한 코른-샴 DFT 문제를 해결하는 데 있어 계산 효율성을 향상시키는 것.
• 아르미조 유형의 배경 추적에 대한 강건하고 적응 가능한 대안을 제공하여 반복 수와 런타임을 감소시키는 것.

제안 방법

• 지역 내 내림쪽 조건에 기반해 스텝 사이즈를 동적으로 조정하는 적응형 스텝 사이즈 전략을 도입하여 반복적인 시험점과 함수 평가를 피한다.
• 유계 기울기와 기울기의 리프시츠 연속성 등의 온건한 가정 하에 이론적 수렴성을 확립한다.
• 스티엘리벨 다양체 위에서 공액 기울기 및 기울기 유형 방법에 이 적응형 전략을 적용한다.
• 재타입 기반 선 탐색 프레임워크를 사용하며, 적응형 스텝 사이즈 선택에 적합한 비단조화 아르미조 유형 조건을 적용한다.
• 직교 제약 하에서 다양한 선 탐색 방법(예: CG 및 기울기 하강법)에 적용 가능한 통일된 알고리즘 프레임워크를 사용한다.
• 실제 분자 체계를 사용한 코른-샴 에너지 최소화 문제에 대해 수치적으로 전략을 검증한다.

실험 결과

연구 질문

• RQ1 배경 추적을 포기하면서도 수렴성을 유지할 수 있는 적응형 스텝 사이즈 전략을 직교 제약 선 탐색 방법에 설계할 수 있는가?
• RQ2 전자 구조 계산에서 배경 추적 기반 방법과 비교해 제안된 적응형 전략이 계산 비용을 감소시키는가?
• RQ3 다양한 분자 체계에서 적응형 전략의 수렴 속도와 최종 정확도는 어떻게 성능을 보이는가?
• RQ4 전통적인 배경 추적 방법이 요구하는 조건보다 더 약한 가정 하에서도 적응형 방법이 전역 수렴성을 유지할 수 있는가?

주요 결과

• 적응형 스텝 사이즈 전략은 배경 추적 없이도 유계 기울기와 기울기의 리프시츠 연속성 등의 온건한 가정 하에 전역 수렴성을 달성한다.
• 벤젠(C6H6)의 경우, 배경 추적 방식에서 31.39초에서 11.36초로 계산 시간이 감소하였고, 반복 수는 625회에서 334회로 감소하였다.
• 풀러렌(C60)의 경우, 배경 추적 방식에서 6775.76초에서 945.60초로 계산 시간이 감소하였으며, 비록 단위 반복 비용은 높지만 전체적으로 효율성이 향상되었다.
• 배경 추적 없는 버전(GM-QR-noBack)은 알라닌과 C120에서 30,000회의 반복 내에 수렴하지 못했지만, 적응형 방법은 각각 3,376회와 7,929회 반복 내에 수렴하였다.
• 적응형 방법은 배경 추적 기반 방법과 비교해 유사하거나 더 우수한 에너지 값을 달성하였으며, 최종 에너지는 기준값과 일치하였다(예: C60의 경우 -3.42875137E+02 a.u.).
• 비록 단위 반복 비용은 높지만, 반복 수가 감소함에 따라 평균 반복당 시간(A.T.P.I.)이 배경 추적 대비 최대 30% 감소하였다.