[논문 리뷰] Gradient descent in a generalised Bregman distance framework

Martin Benning, Marta M. Betcke외 2명|arXiv (Cornell University)|2016. 12. 08.

Numerical methods in inverse problems참고 문헌 5인용 수 6

한 줄 요약

이 논문은 바나흐 공간 내에서 매끄럽고 비볼록 목적 함수에 대해 일반화된 브레르만 거리 프레임워크를 도입하여 경사하강법을 확장한다. 이는 선형화된 브레르만 반복을 비볼록 목적 함수로 확장한 것으로, 일반화된 커디카-로자셰비츠 조건 하에서 충분한 감소 성질과 전역 수렴성을 확립한다. 이는 정규화 기능이 비미분 가능할 경우에도 수렴 가능하게 한다.

ABSTRACT

We discuss a special form of gradient descent that in the literature has become known as the so-called linearised Bregman iteration. The idea is to replace the classical (squared) two norm metric in the gradient descent setting with a generalised Bregman distance, based on a more general proper, convex and lower semi-continuous functional. Gradient descent as well as the entropic mirror descent by Nemirovsky and Yudin are special cases, as is a specific form of non-linear Landweber iteration introduced by Bachmayr and Burger. We are going to analyse the linearised Bregman iteration in a setting where the functional we want to minimise is neither necessarily Lipschitz-continuous (in the classical sense) nor necessarily convex, and establish a global convergence result under the additional assumption that the functional we wish to minimise satisfies the so-called Kurdyka-Łojasiewicz property.

연구 동기 및 목표

• 비볼록 최소화를 넘어선 바나흐 공간 내 매끄럽고 비볼록 함수에 대해 선형화된 브레르만 반복을 확장한다.
• 약한 가정 하에 일반화된 브레르만 경사하강법 프레임워크의 수렴 보장을 확립한다.
• 비미분 가능한 정규화를 포함한 위상 복원의 단순한 예제를 통해 프레임워크의 적용 가능성을 보여준다.
• 거리 기반 내림차순을 초월해 비미분 가능한 브레르만 거리의 반복 최적화에서의 이론적 기초를 제공한다.

제안 방법

• 적절하고 하향 연속적이며 볼록인 함수 $ J $ 의 부분미분을 사용하여 일반화된 브레르만 거리를 정의한다.
• 각 단계에서 선형화된 기울기 항과 브레르만 거리의 조합을 최소화하는 방식으로 선형화된 브레르만 반복을 제안한다.
• 단계 크기 $ \tau^k $ 에 대한 곡률 조건과 대칭 브레르만 거리를 사용하여 충분한 감소 성질을 도출한다.
• 일반화된 커디카-로자셰비츠(Kurdyka-Łojasiewicz, KL) 조건 하에서 전역 수렴을 확립하며, 원래 반복과 쌍대 기울기 간의 관계를 연결한다.
• 세 가지 다른 정규화 선택(영, 티히콘프, $ \ell^1 $-기반)을 사용하여 위상 복원 문제에 프레임워크를 적용한다.
• 데이터 적합성에 기반하여 노이즈에 강건한 수렴을 보장하기 위해 노이즈 수준 $ \sigma = 0.15 $ 기반의 일치 원칙을 사용하여 반복를 정지시킨다.

실험 결과

연구 질문

• RQ1 선형화된 브레르만 반복은 바나흐 공간 내 매끄럽고 비볼록 목표 함수로 확장될 수 있는가?
• RQ2 일반화된 브레르만 경사하강법이 충분한 감소와 수렴을 보장하는 조건은 무엇인가?
• RQ3 비미분 정규화(예: $ \ell^1 $-노름)의 선택이 매끄러운 거리 기반 정규화와 비교해 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 대칭 브레르만 거리는 비볼록 문제의 수렴성을 확립하는 데 어떤 역할을 하는가?
• RQ5 이 프레임워크는 비미분 정규화를 포함한 실제의 역문제(예: 위상 복원)에 적용될 수 있는가?

주요 결과

• 대칭 브레르만 거리를 사용하여 선형화된 브레르만 반복은 목적 함수의 충분한 감소를 보장하며, 이는 부등식 (4)로 명시된다.
• 주어진 가정 하에 연속된 반복 간의 대칭 브레르만 거리는 0으로 수렴한다. 즉, $ \lim_{k\to\infty} D^\text{symm}_J(u^{k+1}, u^k) = 0 $.
• 일반화된 커디카-로자셰비츠(Kurdyka-Łojasiewicz, KL) 조건 하에서 비볼록 목표 함수에 대해서도 전역 수렴이 보장된다.
• 수치 결과는 비미분 브레르만 거리(예: $ \|Cu\|_{\ell^1} $)가 위상 복원에서 매끄러운 티히콘프 유형 정규화보다 엣지 보존 측면에서 더 우수한 성능을 보임을 보여준다.
• 노이즈에 강건하며, 노이즈 수준 $ \sigma = 0.15 $ 기반의 일치 원칙에 의해 반복가 정지된다.
• 단계 크기 조건 (3)을 만족하는 한, 정규화 기능 $ J $ 가 비미분 가능하더라도 프레임워크는 적용 가능하다.