[논문 리뷰] Dykstra splitting and an approximate proximal point algorithm for minimizing the sum of convex functions

C. H. Jeffrey Pang|arXiv (Cornell University)|2017. 09. 27.

Optimization and Variational Analysis참고 문헌 31인용 수 3

한 줄 요약

이 논문은 Dykstra의 분할 알고리즘을 정규화된 이차항을 포함한 볼록 함수의 합을 최소화하도록 확장하여, 순환 업데이트가 필요 없고 제약 조건의 질을 요구하지 않는 조건 하에서 원래 최소화자로의 수렴을 증명한다. 또한, Dykstra의 분할을 활용한 근사 프록시멀 포인트 알고리즘을 도입하여 이중 최소화자가 존재할 경우 O(1/n) 수렴 속도를 달성한다.

ABSTRACT

We show that Dykstra's splitting for projecting onto the intersection of convex sets can be extended to minimize the sum of convex functions and a regularizing quadratic. We give conditions for which convergence to the primal minimizer holds so that more than one convex function can be minimized at a time, the convex functions are not necessarily sampled in a cyclic manner, and the SHQP strategy for problems involving the intersection of more than one convex set can be applied. When the sum does not involve the regularizing quadratic, we discuss an approximate proximal point method combined with Dykstra's splitting to minimize this sum.

연구 동기 및 목표

• 볼록 집합의 교차에 대한 투영에서 일반 볼록 함수의 합을 최소화하는 데로 Dykstra의 분할 알고리즘을 일반화함: 정규화된 이차항을 포함.
• 순환 업데이트나 제약 조건의 질을 요구하지 않으며 원래 최소화자로의 수렴을 확립함.
• 정규화된 이차항 없이 볼록 함수의 합을 최소화하기 위해 Dykstra의 분할을 활용하는 근사 프록시멀 포인트 알고리즘 개발.
• 다수의 볼록 집합을 포함한 문제에서 수렴 속도를 가속화하기 위해 SHQP(지지 반공간 및 이차계획법) 히우리즘의 사용을 가능하게 함.
• 이중 최소화자가 존재할 경우 알고리즘이 O(1/n) 수렴 속도를 확보할 수 있는 조건 제공.

제안 방법

• 일般 볼록 함수에 대해 투영 대신 프록시멀 매핑을 사용하여 ∑ᵢ hᵢ(x) + ½‖x − x₀‖² 최소화 문제에 Dykstra의 분할을 적용.
• 이중 문제에 대해 블록 좌표 최소화를 사용하며, 각 함수 hᵢ를 별도의 블록로 간주하고 순환 업데이트가 필요 없음.
• 지지 반공간(SHQP) 히우리즘을 도입하여 볼록 집합의 교차를 개별 집합보다 더 정확하게 근사함으로써 수렴 속도 향상.
• Dykstra의 분할을 사용해 (1.3) 형태의 서브프로브럼을 순차적으로 해결함으로써 프록시멀 포인트 알고리즘을 적용하며, 적응형 중심 업데이트를 수행.
• Fenchel 쌍대성과 지원 함수를 사용해 이중 조건을 유도하고, 최적 해와의 거리에 대한 쐐기 정리(squeeze theorem)를 통해 수렴 보장.
• 콤팩트성과 오차 경계 분석을 활용해 반복값이 볼록 집합의 교차에 수렴함을 검증하고, 타당성 조건 충족 여부 확인.

실험 결과

연구 질문

• RQ1 Dykstra의 분할 알고리즘이 단지 집합에 대한 투영을 넘어서, 정규화된 이차항이 포함된 볼록 함수의 합 최소화에 확장될 수 있는가?
• RQ2 함수를 순환되지 않은 순서로 최소화할 경우, Dykstra의 분할이 원래 최소화자로 수렴하는 조건은 무엇인가?
• RQ3 SHQP 히우리즘은 공식적으로 정당화되고 Dykstra의 분할에 통합되어 다수의 볼록 집합을 포함한 문제에서 수렴 속도를 향상시킬 수 있는가?
• RQ4 Dykstra의 분할과 결합된 근사 프록시멀 포인트 알고리즘의 수렴 속도는 어떤 보장이 가능한가?
• RQ5 특히 집합의 교차가 정확히 알려져 있지 않을 경우, 반복값의 타당성과 최적 해에의 가까움은 실무적으로 어떻게 검증할 수 있는가?

주요 결과

• Dykstra의 분할은 순환 업데이트가 없더라도 ∑ᵢ hᵢ(x) + ½‖x − x₀‖² 최소화 문제에서 원래 최소화자로 수렴함. 제약 조건의 질이 필요 없음.
• 이중 최소화자가 존재할 경우, 최적 해와의 거리에 대해 쐐기 정리를 적용함으로써 O(1/n) 수렴 속도를 달성함.
• SHQP 히우리즘은 이전 반복값의 서브기울기를 사용해 볼록 집합의 교차를 더 좁은 반공간 근사로 구성함으로써 수렴 속도 향상.
• 정규화된 이차항 없이 Dykstra의 분할을 사용해 서브프로브럼을 해결하는 근사 프록시멀 포인트 알고리즘을 제안하며, 온건한 조건 하에서 수렴 보장.
• 각 집합으로부터의 거리 추정을 통해 반복값의 타당성을 검증하고, 콤팩트성에 의해 각 집합으로부터의 작은 거리가 그들의 교차로의 작은 거리임을 보장.
• 이 방법은 두 개 이상의 볼록 함수를 동시에 최소화할 수 있으며, 함수를 고정된 순환 순서로 샘플링할 필요가 없음.