[논문 리뷰] Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Minimization

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|2018. 03. 07.

Sparse and Compressive Sensing Techniques참고 문헌 56인용 수 5

한 줄 요약

이 논문은 볼록 최적화를 위한 분할 알고리즘에서 부드러운 함수에 대한 새로운 프록시멀 활성화 방법을 제안하며, 모든 함수—부드럽고 비부드러운 함수를 포함하여—프록시멀하게 다루는 것이 더 뛰어난 수치 성능을 낼 수 있음을 입증한다. 저자들은 일반적으로 사용되는 부드러운 볼록 함수에 대한 프록시멀 연산자를 유도하고, 일致하지 않는 볼록 가능성 문제를 완화하기 위한 새로운 변분 모델을 제안하며, 이미지 복구 응용에서 더 높은 효율성을 보여준다.

ABSTRACT

Structured convex optimization problems typically involve a mix of smooth and nonsmooth functions. The common practice is to activate the smooth functions via their gradient and the nonsmooth ones via their proximity operator. We show that, although intuitively natural, this approach is not necessarily the most efficient numerically and that, in particular, activating all the functions proximally may be advantageous. To make this viewpoint viable computationally, we derive the proximity operators of various smooth convex functions arising in applications. We also propose a new variational model to relax inconsistent convex feasibility problems. Numerical applications to image recovery are presented.

연구 동기 및 목표

• 분할 알고리즘에서 부드러운 함수에 대해 전통적으로 사용되는 기울기 기반 활성화 방식에 도전하기 위해.
• 부드러운 함수를 포함한 모든 함수에 대해 프록시멀 활성화를 적용할 경우 더 나은 수치 성능를 얻을 수 있는지 조사하기 위해.
• 응용 분야에서 흔히 사용되는 부드러운 볼록 함수에 대한 프록시멀 연산자를 도출하기 위해.
• 일치하지 않는 볼록 가능성 문제를 완화하기 위한 새로운 변분 모델을 제안하기 위해.
• 이를 통해 이미지 복구 응용에서 제안된 방법의 효과성을 입증하기 위해.

제안 방법

• 실제 응용에서 나타나는 다양한 부드러운 볼록 함수에 대한 프록시멀 연산자를 유도하기 위해.
• 모든 함수—부드럽고 비부드러운 함수를 포함하여—기울기 대신 프록시멀 연산자를 통해 활성화하는 방식으로 분할 알고리즘을 재구성하기 위해.
• 프록시멀 연산자를 기반으로 한 새로운 변분 모델을 도입하여 일치하지 않는 볼록 가능성 문제를 완화하기 위해.
• 부드럽고 비부드러운 구성요소 양쪽에 모두 프록시멀 활성화를 활용하는 분할 알고리즘을 설계하고 구현하기 위해.
• 표준 기울기 기반 방법과의 성능 비교를 위해 이미지 복구 문제에서 접근법을 수치적으로 검증하기 위해.

실험 결과

연구 질문

• RQ1 분할 알고리즘에서 부드러운 함수에 대해 프록시멀 활성화가 기울기 기반 활성화보다 더 뛰어난 수치 효율성을 보이는가?
• RQ2 이미지 처리와 같은 응용 분야에서 흔히 사용되는 부드러운 볼록 함수의 프록시멀 연산자는 무엇인가?
• RQ3 프록시멀 연산자를 기반으로 한 새로운 변분 모델이 일치하지 않는 볼록 가능성 문제를 효과적으로 완화할 수 있는가?
• RQ4 이미지 복구 작업에서 프록시멀 전용 분할 알고리즘의 성능은 기존 기울기 기반 접근법과 비교해 어떻게 되는가?
• RQ5 부드러운 함수를 기울기 대신 프록시멀로 다룰 경우의 이론적 및 실용적 함의는 무엇인가?

주요 결과

• 분할 알고리즘에서 부드러운 함수에 대해 프록시멀 활성화를 적용할 경우, 기존 기울기 기반 접근법에 비해 더 뛰어난 수치 성능를 보였다.
• 저자들은 실생활 응용에 관련된 다양한 부드러운 볼록 함수에 대한 프록시멀 연산자를 성공적으로 유도하였다.
• 제안된 변분 모델은 일치하지 않는 볼록 가능성 문제의 효과적인 완화를 가능하게 하여 강건성을 향상시켰다.
• 이미지 복구에서의 수치 실험 결과, 모든 함수에 대해 프록시멀 활성화를 사용할 경우 더 빠른 수렴 속도와 더 높은 안정성을 확보하였다.
• 결과적으로 기존의 기울기 기반 활성화와 프록시멀 활성화 간의 분리 전략은 최적화되지 않았으며, 통합된 프록시멀 접근법이 더 효과적일 수 있음을 시사한다.