[논문 리뷰] Unifying abstract inexact convergence theorems for descent methods and block coordinate variable metric iPiano

Peter Ochs|arXiv (Cornell University)|2016. 02. 23.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 상대 오차를 고려한 내림내림 방법에 대한 통합된 추상 수렴 정리를 제시하며, Kurdyka–Łojasiewicz 부등식을 만족하는 비미분 가능성, 비볼록 함수로 확장한다. 블록 좌표 및 가변 메트릭 변형인 iPiano에 대한 수렴성을 입증하며, Mumford–Shah 유사 정규화를 갖는 이미지 복원 문제에서의 효과를 보여준다.

ABSTRACT

An abstract convergence theorem for a class of descent method that explicitly models relative errors is proved. The convergence theorem generalizes and unifies several recent abstract convergence theorems, and is applicable to possibly non-smooth and non-convex lower semi-continuous functions that satisfy the Kurdyka--{\L}ojasiewicz inequality, which comprises a huge class of problems. The descent property is measured with respect to a function that is allowed to change along the iterations, which makes block coordinate and variable metric methods amenable to the abstract convergence theorem. As a particularly algorithm, the convergence of a block coordinate variable metric version of iPiano (an inertial forward--backward splitting algorithm) is proved. The newly introduced algorithms perform favorable on an inpainting problem with a Mumford--Shah-like regularization from image processing.

연구 동기 및 목표

• 상대 오차를 명시적으로 모델링하는 단일 프레임워크 내에서 최근의 내림내림 방법 수렴 정리들을 통합하기 위해.
• Kurdyka–Łojasiewicz 부등식을 만족하는 비미분 가능성, 비볼록 하향연속 함수로 수렴 보장을 확장하기 위해.
• 수렴 분석 내에서 가변 내림내림 함수와 블록 좌표 갱신을 수용하기 위해.
• 새로운 블록 좌표 및 가변 메트릭 변형인 iPiano 알고리즘의 수렴성을 확립하기 위해.
• Mumford–Shah 유사 정규화를 갖는 도전적인 이미지 복원 문제에서 제안된 방법의 실용적 효능을 입증하기 위해.

제안 방법

• 내림내림 단계에서의 상대 오차를 모델링하는 추상 수렴 정리를 개발하여, 반복 간에 가변 내림내림 함수를 허용한다.
• 내림내림 함수가 각 반복마다 변경될 수 있는 프레임워크를 도입하여, 블록 좌표 및 가변 메트릭 방법에의 적용을 가능하게 한다.
• iPiano, 관성 전진-뒤로가기 분할 알고리즘의 블록 좌표 및 가변 메트릭 확장에 추상 정리를 적용한다.
• 비볼록 함수의 광범위한 클래스에 대한 수렴을 보장하기 위해, Kurdyka–Łojasiewicz 부등식을 핵심 구조적 가정으로 사용한다.
• 수렴 행동을 향상시키기 위해 적응형 메트릭 선택과 블록 갱신을 포함한 관성 전진-뒤로가기 분할 계획을 활용한다.
• 실제 성능을 입증하기 위해 Mumford–Shah 유사 정규화를 갖는 이미지 복원 문제에서 알고리즘을 검증한다.

실험 결과

연구 질문

• RQ1 일관된 추상 수렴 정리가 상대 오차 모델링을 통한 비정확 내림내림 방법의 기존 결과들을 통합할 수 있는가?
• RQ2 수렴 프레임워크가 Kurdyka–Łojasiewicz 부등식을 만족하는 비미분 가능성, 비볼록 함수로 얼마나 넓게 확장될 수 있는가?
• RQ3 이 프레임워크가 원칙적으로 가변 내림내림 함수와 블록 좌표 갱신을 수용할 수 있는가?
• RQ4 제안된 블록 좌표 및 가변 메트릭 iPiano 변형이 추상 정리에 따라 수렴하는가?
• RQ5 제안된 알고리즘이 복잡한 정규화를 갖는 실세계 문제, 예를 들어 이미지 복원 문제에서 어떻게 성능을 발휘하는가?

주요 결과

• 추상 수렴 정리는 비정확 내림내림 방법에 대한 최근 수많은 수렴 결과를 일반화하고 통합한다.
• Kurdyka–Łojasiewicz 부등식을 만족하는 비미분 가능성, 비볼록 함수에 대해 수렴이 입증되며, 이는 광범위하고 널리 적용 가능한 조건이다.
• 이 프레임워크는 가변 내림내림 함수를 지원하여, 블록 좌표 및 가변 메트릭 방법에 적합하다.
• 제안된 블록 좌표 및 가변 메트릭 iPiano 변형은 제안된 추상 프레임워크 하에서 수렴이 증명된다.
• 알고리즘이 Mumford–Shah 유사 정규화를 갖는 이미지 복원 문제에서 유리한 성능을 보이며 실용적 관련성을 보여준다.
• 이론적 프레임워크는 비볼록 최적화에서 관성 및 적응형 메트릭 전략의 체계적 분석을 가능하게 한다.