[논문 리뷰] Preconditioning of a Generalized Forward-Backward Splitting and Application to Optimization on Graphs

Hugo Raguet, Landrieu Loïc|arXiv (Cornell University)|2015. 04. 28.

Sparse and Compressive Sensing Techniques인용 수 5

한 줄 요약

이 논문은 그래프 구조에서 대규모 비미분가능 볼록 최적화 문제를 해결하기 위해 전처리된 일반화된 전진-후진 분할 알고리즘을 제안한다. 기저 메트릭을 적응시킴으로써 수렴 속도를 향상시키고 계산 및 저장 비용을 감소시켜, 단일 기울기와 가 близ도 연산자 평가만으로도 부드럽고 비미분가능한 항을 포함하는 복합 목표 함수의 효율적 최소화를 가능하게 한다.

ABSTRACT

We present a preconditioning of a generalized forward-backward splitting algorithm for finding a zero of a sum of maximally monotone operators $\\sum_{i=1}^{n} A_i + B$ with $B$ cocoercive, involving only the computation of $B$ and of the resolvent of each $A_i$ separately. This allows in particular to minimize functionals of the form $\\sum_{i=1}^n g_i + f$ with $f$ smooth, using only the computation of the gradient of $f$ and of the proximity operator of each $g_i$ separately. By adapting the underlying metric, such preconditioning can serve two practical purposes: first, it might accelerate the convergence, or second, it might simplify the computation of the resolvent of $A_i$ for some $i$. In addition, in many cases of interest, our preconditioning strategy allows the economy of storage and computation concerning some auxiliary variables. In particular, we show how this approach can handle large-scale, nonsmooth, convex optimization problems structured on graphs, which arises in many image processing or learning applications, and that it compares favorably to alternatives in the literature.

연구 동기 및 목표

• 이미지 처리 및 기계 학습에서 흔히 발생하는 그래프로 구조화된 대규모 비미분가능 볼록 최적화 문제를 해결하는 데 도전하는 것.
• 단조 연산자 포함 문제에 대한 전진-후진 분할 알고리즘의 수렴 속도 향상 및 계산 오버헤드 감소.
• 메트릭 전처리를 통해 개별 연산자의 해석 연산을 분리함으로써 계산 효율성 향상.
• 분산 또는 대규모 환경에서 보조 변수의 저장 요구량을 줄이고 구현을 단순화.

제안 방법

• 이 방법은 최대 단조 연산자 $\sum_{i=1}^{n} A_i + B$ 의 영을 찾는 데 일반화된 전진-후진 분할 프레임워크를 사용하며, $B$ 는 코코어시브이다.
• 문제의 조건을 개선하기 위해 기저 힐버트 공간 메트릭을 수정하는 전처리 전략을 도입한다.
• 합성 연산자의 복잡한 계산을 피하기 위해 각 $A_i$ 의 해석 연산과 $B$ 의 평가만 계산한다.
• 전처리 덕분에 각 $A_i$ 의 해석 연산을 별도로 처리할 수 있어 병렬 또는 분산 계산이 가능하다.
• 부드러운 함수 $f$ 와 $g_i$ 의 합성 형태인 $\sum_{i=1}^n g_i + f$ 에 대해 적용되며, $f$ 의 기울기와 $g_i$ 의 가까이 연산자 평가만을 사용한다.
• 국소적 연산자 분해와 메트릭 적응을 활용하여 그래프 구조 문제에 적합하게 조정함으로써 계산 부담을 감소시킨다.

실험 결과

연구 질문

• RQ1 전처리는 단조 연산자 포함 문제에 대한 일반화된 전진-후진 분할의 수렴 속도 향상에 기여하는가?
• RQ2 메트릭 적응은 분해된 개별 연산자의 해석 연산 계산을 어떻게 단순화하는가?
• RQ3 이 방법을 통해 대규모 그래프 구조 최적화 문제에서 저장 및 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 이 전처리 알고리즘이 기존 방법에 비해 그래프 기반 문제에서 수렴 속도와 확장성 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 방법은 분산 또는 희소 환경에서 부드럽고 비미분가능한 항을 포함하는 복합 목표 함수를 효율적으로 처리할 수 있는가?

주요 결과

• 전처리된 알고리즘은 특히 조건이 나쁜 문제에서 기존 전진-후진 분할에 비해 더 빠른 수렴을 달성한다.
• 개별 연산자의 해석 연산을 분리함으로써 저장 및 계산 요구량을 감소시킨다.
• 이 방법은 이미지 처리 및 기계 학습에서 발생하는 대규모 그래프 구조 최적화 문제를 효율적으로 다룰 수 있다.
• 표준 일반화된 전진-후진 방법과 동일한 조건 하에 수렴 보장을 유지하지만 실용적 성능가 향상된다.
• 실험 결과는 이 방법이 문헌에 기록된 기존 방법들과 비교해 특히 확장성과 구조화된 문제에 대한 강건성 측면에서 유리한 성능을 보였다.