[논문 리뷰] Douglas-Rachford splitting for nonconvex feasibility problems

Guoyin Li, Ting Kei Pong|arXiv (Cornell University)|2014. 09. 30.

Optimization and Variational Analysis참고 문헌 26인용 수 6

한 줄 요약

이 논문은 리프시츠 연속 기울기를 가진 스무스 함수와 적절한 닫힌 함수의 합을 최소화하기 위해 듀플록스-라흐포드 분할법을 비볼록 타당성 문제에 적용한다. 수렴 분석을 통해 단계 크기가 계산 가능한 임계값 이하이고 클러스터 점이 존재할 경우, 수렴 수렴이 정류점으로 이루어지며, 준대수적 조건 하에서 전역 수렴과 국소 선형 수렴 속도를 확보한다. 이 방법은 볼록 집합과 일반 닫힌 집합의 교차점에서 점을 찾는 데 응용된다.

ABSTRACT

We adapt the Douglas-Rachford (DR) splitting method to solve nonconvex feasibility problems by studying this method for a class of nonconvex optimization problem. While the convergence properties of the method for convex problems have been well studied, far less is known in the nonconvex setting. In this paper, for the direct adaptation of the method to minimize the sum of a proper closed function g and a smooth function f with a Lipschitz continuous gradient, we show that if the step-size parameter is smaller than a computable threshold and the sequence generated has a cluster point, then it gives a stationary point of the optimization problem. Convergence of the whole sequence and a local convergence rate are also established under the additional assumption that f and g are semi-algebraic. We also give simple sufficient conditions guaranteeing the boundedness of the sequence generated. We then apply our nonconvex DR splitting method to finding a point in the intersection of a closed convex set C and a general closed set D by minimizing the square distance to C subject to D. We show that if either set is bounded and the step-size parameter is smaller than a computable threshold, then the sequence generated from the DR splitting method is actually bounded. Consequently, the sequence generated will have cluster points that are stationary for an optimization problem, and the whole sequence is convergent under an additional assumption that C and D are semi-algebraic. We achieve these results based on a new merit function constructed particularly for the DR splitting method. Our preliminary numerical results indicate that the DR splitting method usually outperforms the alternating projection method in finding a sparse solution of a linear system, in terms of both the solution quality and the number of iterations taken.

연구 동기 및 목표

• 비볼록 최적화 문제에서 수렴이 잘 이해되지 않는 상황에 듀플록스-라흐포드 분할법을 확장하기 위해.
• 계산 가능한 단계 크기 조건과 유계성 가정 하에서 정류점으로의 수렴을 확립하기 위해.
• 목적 함수가 준대수적일 경우 전역 수렴과 국소 선형 수렴 속도를 제공하기 위해.
• 특히 희소 해 복구를 위해, 볼록 집합과 일반 닫힌 집합을 포함하는 타당성 문제에 이 방법을 적용하기 위해.
• 수치적으로, 이 방법이 해의 질과 반복 횟수 측면에서 교대 투영 방법보다 뛰어나다는 것을 보여주기 위해.

제안 방법

• 적절한 닫힌 함수 g와 리프시츠 연속 기울기를 가진 스무스 함수 f의 합을 최소화함으로써 고전적 듀플록스-라흐포드 분할법을 비볼록 문제에 적용한다.
• 비볼록 DR 분할 프레임워크 내에서 수렴 분석을 위해 특별히 설계된 새로운 메리트 함수를 도입한다.
• 단계 크기가 계산 가능한 임계값 이하이고 수열이 클러스터 점을 가질 경우, 정류점으로의 수렴을 확립한다.
• f와 g가 준대수적일 경우 전역 수렴과 국소 선형 수렴 속도를 증명한다.
• 닫힌 볼록 집합 C에 대한 제곱 거리 최소화와 일반 닫힌 집합 D에 속함 조건을 동시에 고려함으로써 타당성 문제에 방법을 적용한다.
• 특히 C 또는 D 중 하나가 유계일 경우를 포함한 유계성 조건을 사용하여 수열이 유계이고 따라서 클러스터 점을 가지도록 보장한다.

실험 결과

연구 질문

• RQ1 직접적인 듀플록스-라흐포드 분할법이 비볼록 문제에서 정류점으로 수렴하기 위한 조건은 무엇인가?
• RQ2 클러스터 점이 존재할 경우 정류점으로 수렴을 보장하기 위해 계산 가능한 단계 크기 임계값을 유도할 수 있는가?
• RQ3 비볼록 설정에서 전역 수렴과 국소 선형 수렴 속도를 보장하기 위해 추가로 어떤 가정이 필요한가?
• RQ4 DR 분할법은 볼록 집합과 일반 닫힌 집합을 포함하는 타당성 문제에 어떻게 적용될 수 있는가?
• RQ5 비볼록 설정에서 DR 분할법에 의해 생성된 수열의 유계성을 보장하기 위한 조건은 무엇인가?

주요 결과

• 단계 크기가 계산 가능한 임계값 이하이고 수열이 클러스터 점을 가질 경우, 수열은 최적화 문제의 정류점으로 수렴한다.
• f와 g가 모두 준대수적일 경우 전역 수렴과 국소 선형 수렴 속도를 달성한다.
• 닫힌 볼록 집합 C 또는 일반 집합 D 중 하나가 유계이고 단계 크기가 임계값 이하일 경우, DR 분할법에 의해 생성된 수열은 유계이다.
• 선형 시스템의 희소 해를 찾는 데 있어, 이 방법은 해의 질과 반복 횟수 측면에서 교대 투영 방법보다 뛰어나다.
• 제안된 메리트 함수는 전통적인 리아푸노프 기반 접근법이 실패하는 비볼록 설정에서의 수렴 분석을 가능하게 한다.