[논문 리뷰] A Bregman Extension of quasi-Newton updates II: Convergence and Robustness Properties

Takafumi Kanamori, Atsumi Ohara|arXiv (Cornell University)|2010. 10. 14.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 3

한 줄 요약

이 논문은 Kullback-Leibler 발산의 일반화로 Bregman 발산을 사용하여 준-뉴턴 방법을 확장하며, DFP와 BFGS를 일반화하는 새로운 헤시안 업데이트 공식을 유도한다. 새로운 프레임워크 하에서 수렴성을 확립하고, 오직 표준 BFGS 공식만이 선형 탐색 오차의 영향을 제한함을 보이며, 다른 변형들은 수치적 노이즈를 악화시킬 수 있음을 시사하여 실무에서 BFGS의 강건성을 강조한다.

ABSTRACT

We propose an extension of quasi-Newton methods, and investigate the convergence and the robustness properties of the proposed update formulae for the approximate Hessian matrix. Fletcher has studied a variational problem which derives the approximate Hessian update formula of the quasi-Newton methods. We point out that the variational problem is identical to optimization of the Kullback-Leibler divergence, which is a discrepancy measure between two probability distributions. Then, we introduce the Bregman divergence as an extension of the Kullback-Leibler divergence, and derive extended quasi-Newton update formulae based on the variational problem with the Bregman divergence. The proposed update formulae belong to a class of self-scaling quasi-Newton methods. We study the convergence property of the proposed quasi-Newton method, and moreover, we apply the tools in the robust statistics to analyze the robustness property of the Hessian update formulae against the numerical rounding errors included in the line search for the step length. As the result, we found that the influence of the inexact line search is bounded only for the standard BFGS formula for the Hessian approximation. Numerical studies are conducted to verify the usefulness of the tools borrowed from robust statistics.

연구 동기 및 목표

• 표준 준-뉴턴 업데이트를 일반화된 Kullback-Leibler 발산에서 Bregman 발산으로 확장하여 헤시안 근사도 향상.
• 제안된 Bregman 기반 준-뉴턴 업데이트 공식의 수렴 성질을 확립.
• 강건 통계 도구를 활용하여 선형 탐색에서의 수치 오차에 대한 헤시안 업데이트의 강건성 분석.
• 선형 탐색 과정에서의 편향에 대해 영향력이 유한하게 유지되는 업데이트 공식 식별.

제안 방법

• 헤시안 업데이트를 위한 변분 최적화 문제 정의를 위해 Bregman 발산을 Kullback-Leibler 발산의 일반화로 사용.
• Bregman 발산을 사용하여 양의 정부호 행렬 위에서 제약 조건이 있는 최소화 문제를 해결함으로써 새로운 준-뉴턴 업데이트 공식 유도.
• 강건 통계에서 영향 함수 분석을 적용하여 탐색 방향 및 기울기 정보의 편향에 대한 헤시안 업데이트의 민감도 평가.
• 함수 β(z)를 통해 매개변수화된 업데이트 공식 가족을 도입하며, 표준 BFGS는 β=0에 해당.
• 행렬 페르터베이션 분석을 통해 영향 함수의 프로베니우스 노름을 평가하여 수치 오차에 대한 민감도 측정.
• 알고리즘 프레임워크 내에서 계산 효율성을 유지하기 위해 콜레스키 분해 업데이트와 역헤시안 업데이트를 활용.

실험 결과

연구 질문

• RQ1 Bregman 발산 프레임워크는 DFP 및 BFGS와 같은 기존 준-뉴턴 방법을 일반화할 수 있는가?
• RQ2 제안된 Bregman 기반 업데이트 공식은 표준 준-뉴턴 가정 하에서 수렴성을 유지하는가?
• RQ3 선형 탐색 오차에 의한 영향력이 제한되는 업데이트 공식은 무엇인가?
• RQ4 예를 들어 KL 발산 대비 일반 Bregman 발산의 선택이 헤시안 업데이트의 강건성에 어떤 영향을 미치는가?
• RQ5 기타 변형과 비교해 볼 때 표준 BFGS 업데이트가 선형 탐색에서 수치 노이즈에 대해 유일하게 강건한가?

주요 결과

• 제안된 Bregman 기반 업데이트 공식은 DFP와 BFGS를 일반화하며, 표준 조건 하에서도 수렴성을 유지한다.
• 오직 표준 BFGS 공식만이 영향 함수의 프로베니우스 노름으로 측정된 선형 탐색 오차의 영향을 제한한다.
• 모든 다른 Bregman 기반 업데이트(DFP 및 확장된 변형 포함)의 경우, 편향이 발생할 경우 영향 함수가 유계가 아니게 되어 수치적 노이즈에 대한 통제 불능 민감도를 나타낸다.
• 헤시안 근사의 행렬식이 고정되어 있어도, 표준 BFGS를 제외한 모든 Bregman 기반 업데이트에서 영향 함수의 프로베니우스 노름은 무한대로 발산한다.
• 수치적 연구 결과, 강건 통계 도구가 헤시안 업데이트의 수치 오차 민감도를 효과적으로 탐지하고 정량화함을 확인한다.
• 분석 결과, BFGS의 강건성은 대칭적 구조와 영향 함수의 특정 형태 덕분에 편향이 있더라도 여전히 유계로 유지되기 때문이다.