[논문 리뷰] Codes supporting "Interior–proximal primal–dual methods"

Tuomo Valkonen|arXiv (Cornell University)|2017. 06. 21.

Stochastic Gradient Optimization Techniques인용 수 4

한 줄 요약

이 논문은 대칭 원뿔 위에서 이중 프락시멀 단계의 제곱 거리를 대체하여 로그(barrier) 함수를 도입함으로써 프락시멀 포인트 방법과 내부점 방법 조건부(preconditioning)를 결합한 새로운 원시-이중 알고리즘, Primal Euclidean–Dual Interior (PEDI)을 제안한다. 이 방법은 이차원 원뿔 문제에 대해 선형 수렴성을 달성하고 일반적인 대칭 원뿔 문제에 대해 $O(1/N)$ 수렴성을 보이며, 경계 페널티를 포함한 장벽 함수의 강한 볼록성 추정을 활용한다.

ABSTRACT

This package contains the codes behind the paper “Interior--proximal primal--dual methods” by T. Valkonen; https://arxiv.org/abs/1706.07067 (Applied Analysis and Optimization <strong>3</strong> (2019), 1–28). The top-level directory contains the specific tests and files to batch-generate the results in the paper. The directory `codes` contains generic algorithm implementations shared between various of my papers. The images under `img/` are from the free Kodak image suite available at http://r0k.us/graphics/kodak/.

연구 동기 및 목표

• 대규모 사 saddle point 문제를 해결하는 데 있어 일阶 분할 방법과 내부점 방법 사이의 성능 격차를 메우기 위해.
• 내부점 방법의 수렴 속도를 유지하면서도 일阶 방법의 구현 가능성(tractability)을 유지하는 하이브리드 알고리즘을 개발하기 위해.
• 특히 이차원 원뿔을 포함한 대칭 원뿔 제약 조건이 있는 문제에서 증명 가능한 수렴 속도—구체적으로 선형 수렴 속도—를 달성하기 위해.
• 이중 단계에서 장벽 기반 조건부(preconditioning)가 표준 제곱형 프락시멀 항보다 수렴 속도와 확장성 면에서 뛰어나지 못할지 탐구하기 위해.

제안 방법

• 이 방법은 이중 변수에 대해 비선형이고 장벽 기반 조건부를 사용하는 조건부 프락시멀 포인트 방법으로 사 saddle point 문제를 재구성한다.
• 표준 이중 프락시멀 단계를 대체하여 대칭 원뿔 $\mathcal{K}$ 위에서 로그(barrier) 항 $-\nabla \log \det(y)$ 를 도입하고, 원시 변수에 대해서는 유클리드 프락시멀 단계를 유지한다.
• 알고리즘은 $0 \in H(u^{i+1}) + M_{i+1}(u^{i+1} - u^i)$ 형태의 변분 포함형식에서 유도되며, 여기서 $M_{i+1}$ 는 장벽 기반 조건부를 포함한다.
• 강한 볼록성 추정과 원뿔 경계에 대한 페널티를 확장하여 수렴 속도를 확립한다.
• 내부점 하위문제를 정확히 해결하면서 영상 노이즈 제거 문제, 즉 총 변동성(total variation) 및 $H^1$ 노이즈 제거에 적용한다.
• 수치 실험을 통해 PEDI를 PDHGM 및 이중 전진-뒤로가기 분할 방법(Dual forward–backward splitting)과 비교하여 수렴 행동과 확장성을 평가한다.

실험 결과

연구 질문

• RQ1 프락시멀 포인트와 내부점 원리의 하이브리드 원시-이중 방법이 표준 일阶 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ2 이중의 제곱형 프락시멀 항을 대체하여 대칭 원뿔 위에서 로그 장벽을 사용할 경우 수렴 속도가 향상되는가?
• RQ3 원시 함수가 강한 볼록성만을 가지는 경우, 이차원 원뿔 제약 조건이 있는 문제에서 선형 수렴이 달성 가능한가?
• RQ4 특히 고해상도 영상 처리 응용 분야에서 문제 크기에 따라 장벽 기반 방법의 성능은 어떻게 확장되는가?

주요 결과

• PEDI 방법은 원시 함수 $G$ 가 강한 볼록성일 경우 이차원 원뿔을 포함한 문제에서 선형 수렴성을 달성한다.
• 일반적인 대칭 원뿔 문제에 대해서는 $O(1/N)$ 수렴 속도를 달성하며, 이는 비강한 볼록 설정과 일치한다.
• 수치 결과는 PEDI가 $H^1$ 노이즈 제거에서 PDHGM 및 Dual FB를 상당히 능가함을 보이며, 이는 이론적 선형 수렴 속도를 반영한다.
• 총 변동성 노이즈 제거에서는 PEDI가 Dual FB보다 느리게 수렴하지만, 저해상도 및 고해상도 문제 모두에서 양호한 확장성을 보인다 ($10^4$에서 $10^6$ 변수).
• 알고리즘은 양호한 확장성을 보이며, 고해상도 문제에서의 성능이 저해상도 문제와 유사하여 문제 크기에 대해 강건함을 나타낸다.
• 이론적 분석은 장벽 기반 조건부가 강한 볼록성 추정을 가능하게 하여 향상된 수렴 속도의 기반을 제공함을 확인한다.