[논문 리뷰] On the convergence rate improvement of a primal-dual splitting algorithm for solving monotone inclusion problems

Radu Ioan Boţ, Ernö Robert Csetnek외 1명|arXiv (Cornell University)|2013. 03. 12.

Optimization and Variational Analysis참고 문헌 19인용 수 9

한 줄 요약

이 논문은 단조 포함 문제를 해결하기 위해 전진-후진 분할 기반의 수정된 이중-직렬 알고리즘 두 가지를 제안하며, 강한 단조성 조건 하에서 $\mathcal{O}(1/n)$ 및 $\mathcal{O}(\omega^n)$의 향상된 수렴 속도를 달성한다. 이 방법들은 완전히 분해 가능하며, 볼록 최적화에 적용되었으며, 영상 처리 및 서포트 벡터 머신에서 수치적 검증이 이루어졌다.

ABSTRACT

We present two modified versions of the primal-dual splitting algorithm relying on forward-backward splitting proposed in \cite{vu} for solving monotone inclusion problems. Under strong monotonicity assumptions for some of the operators involved we obtain for the sequences of iterates that approach the solution orders of convergence of O(1/n) and O(ω^n), for $ω\in (0,1)$, respectively. The investigated primal-dual algorithms are fully decomposable, in the sense that the operators are processed individually at each iteration. We also discuss the modified algorithms in the context of convex optimization problems and present numerical experiments in image processing and support vector machines classification.

연구 동기 및 목표

• 단조 포함 문제를 위한 Vũ(2013)가 제안한 이중-직렬 분할 알고리즘의 수렴 속도를 향상시키는 것.
• 강한 단조성 조건 하에서 수정된 알고리즘의 수렴 속도가 $\mathcal{O}(1/n)$ 및 $\mathcal{O}(\omega^n)$임을 확립하는 것.
• 각 반복 단계에서 연산자를 개별적으로 처리할 수 있도록 완전한 분해 가능성을 보장하는 것.
• 특히 영상 처리 및 서포트 벡터 머신 분류에서의 볼록 최적화 문제에 수정된 알고리즘을 적용하는 것.
• 실세계 데이터셋을 대상으로 한 수치 실험을 통해 이론적 향상 사항을 검증하는 것.

제안 방법

• 문헌 [21]에서 제안된 이중-직렬 전진-후진 분할 알고리즘의 두 가지 수정된 버전을 도입하며, 강한 단조성 조건을 통합한다.
• 단일값 연산자(선형 연속 연산자 및 그 수반 연산자를 포함)에는 전진 단계를, 다중값 연산자에는 해석자(resolvent)를 통한 후진 단계를 활용한다.
• 형태 $0 \in A(x) + K^* B(Kx)$의 단조 포함 문제를 해결하기 위해 알고리즘을 적용하며, 여기서 $A$와 $B$는 최대 단조성이고 $K$는 유계 선형 연산자이다.
• 각 반복 단계에서 각 연산자를 독립적으로 처리함으로써 완전한 분해 가능성을 확보하여 병렬 및 분산 계산을 가능하게 한다.
• 알고리즘의 구조를 유지하기 위해 해석자 항등식 $J_{\gamma A} + \gamma J_{\gamma^{-1}A^{-1}} \circ \gamma^{-1} \text{Id} = \text{Id}$를 활용한다.
• 재생 핵 힐베르트 공간 내에서 티호노프 정규화된 SVM 문제에 알고리즘을 적용하며, 이중 문제를 필요한 단조 포함 형태로 재구성한다.

실험 결과

연구 질문

• RQ1 강한 단조성 조건 하에서 이중-직렬 전진-후진 분할 알고리즘의 수렴 속도를 가속화할 수 있는가?
• RQ2 일부 연산자에 대해 강한 단조성이 적용될 경우, 수정된 이중-직렬 알고리즘의 달성 가능한 수렴 속도는 무엇인가?
• RQ3 알고리즘의 분해 가능성은 대규모 최적화 문제에서의 실용적 적용성에 어떤 영향을 미치는가?
• RQ4 영상 처리 및 SVM 분류와 같은 실세계 응용 분야에서 향상된 수렴 속도를 수치적으로 검증할 수 있는가?
• RQ5 커널 파라미터 선택이 수정된 알고리즘을 사용한 SVM 학습 시 오분류율에 어떤 영향을 미치는가?

주요 결과

• 강한 단조성 조건 하에서 수정된 알고리즘은 $\omega \in (0,1)$에 대해 선형 수렴 속도 $\mathcal{O}(\omega^n)$를 달성하며, 하향 수렴 속도보다 훨씬 빠르다.
• 최적화 문제에서 $\gamma$-강한 볼록성인 $f + h$의 경우, 알고리즘은 $\mathcal{O}(1/n)$ 수렴 속도를 달성한다.
• 5899장의 이미지로 구성된 숫자 분류 데이터셋에서의 수치 실험 결과, $\sigma = 0.15$일 때 테스트 오분류율이 1.36%로 나타나 일부 기존 문헌의 벤치마크를 초월하였다.
• $\sigma = 0.15$ 및 $0.175$일 때 학습 오차가 0이었으며, 최적의 커널 파라미터에서 강력한 일반화 성능을 보였다.
• 정규화 파라미터 $C$의 변화에 대해 알고리즘이 강인했으며, 분류 정확도에 유의미한 영향을 미치지 않았다.
• 특히 적절하게 선택된 커널 파라미터를 사용할 경우, 기존의 수치적 방법들과 비교해 보다 우수하거나 경쟁 가능한 성능을 달성하였다.