[논문 리뷰] Auxiliary Problem Principle of augmented Lagrangian with Varying Core Functions for Large-Scale Structured Convex Problems

Lei Zhao, Daoli Zhu외 1명|arXiv (Cornell University)|2015. 12. 14.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 4

한 줄 요약

이 논문은 보조 문제의 핵심 함수가 반복 간에 변할 수 있도록 허용함으로써 유연성을 향상시키는 새로운 프레임워크인 증강 라그랑주법의 변형 보조 문제 원칙(VAPP-AL)을 제안한다. 이는 비분리 목표 함수와 다중 블록 결합 제약 조건을 가진 대규모 구조적 볼록 최적화 문제를 해결하는 데 유용하다. 이 방법은 수렴 속도가 O(1/t)이며, 이중 핵심 함수일 경우 o(1/t)로 향상되어, 비분리 목표 함수와 다중 블록 결합 제약 조건을 가진 문제에 대해 효율적인 병렬 및 분산 계산을 가능하게 한다.

ABSTRACT

The auxiliary problem principle of augmented Lagrangian (APP-AL), proposed by Cohen and Zhu (1984), aims to find the solution of a constrained optimization problem through a sequence of auxiliary problems involving augmented Lagrangian. The merits of this approach are two folds. First, the core function is usually separable, which makes the subproblems at each step decomposable and particularly attractive for parallel computing. Second, the choice of the core function is quite flexible. Consequently, by carefully specifying this function, APP-AL may reduce to some standard optimization algorithms. In this paper, we pursue enhancing such flexibility by allowing the core function to be non-identical at each step of the algorithm, and name it varying auxiliary problem principle (VAPP-AL). Depending on the problem structure, the varying core functions in VAPP-AL can be adapted to design new flexible and suitable algorithm for parallel and distributed computing. The convergence and O(1/t) convergence rate of VAPP-AL for convex problem with coupling objective and constraints is proved. Moreover, if this function is specialized to be quadratic, an o(1/t) convergence rate can be established. Interestingly, the new VAPP framework can cover several variants of Jacobian type augmented Lagrangian decomposition methods as special cases. Furthermore, our technique works for the convex problem with nonseparable objective and multi-blocks coupled linear constraints, which usually can not be handled by ADMM.

연구 동기 및 목표

• 비분리 목표 함수와 다중 블록 결합 제약 조건을 가진 대규모 구조적 볼록 문제를 다룰 때 고정 핵심 함수를 가진 보조 문제 원칙의 한계를 해결하기 위해.
• 각 반복에서 보조 문제의 핵심 함수를 변화시킴으로써 알고리즘의 유연성을 향상시켜 문제의 구조에 더 잘 적응할 수 있도록 하기 위해.
• 약한 가정 하에 제안된 VAPP-AL 프레임워크의 수렴성과 수렴 속도 보장을 수립하기 위해.
• VAPP-AL가 기존의 방법들, 특히 ADMM의 변종들을 일반화하고 통합함으로써 비분리 목표 함수로의 적용 가능성을 확장하기 위해.

제안 방법

• 기존의 APP-AL에서 고정 핵심 함수를 사용하는 것과 달리, 보조 문제의 핵심 함수가 반복 간에 변화할 수 있도록 허용하는 새로운 알고리즘 프레임워크인 VAPP-AL을 제안한다.
• 시간에 따라 변화하는 핵심 함수 $ K^k(u) $ 기반의 브레그만 거리 정규화 항을 사용하여 증강 라그랑주법을 선형화하고 하위 문제의 분해 가능성을 보장한다.
• 증강 라그랑주법과 일관된 이중 갱신 규칙 $ p^{k+1} = p^k + ho (A u^{k+1} - b) $ 를 사용하며, 변화하는 정규화를 갖는 수정된 증강 라그랑주법을 통해 하위 문제를 해결한다.
• 수렴 분석을 위해 $ ilde{ heta}^k $ 와 유사한 리아푸노프 함수를 도입하며, $ G $의 헤시안, 행렬 $ A $, 그리고 $ ho $ 와 $ ho $ 의 선택이 가지는 성질을 활용한다.
• 수렴성을 $ ilde{ heta}^{k+1} - ilde{ heta}^k $ 를 포함하는 내림차순 부등식을 통해 확립하며, 이 수열이 유계이면서 차이가 $ O(1/t) $ 의 속도로 감소함을 보여준다.
• 핵심 함수가 이차일 경우, 헤시안과 매개변수 선택을 더 엄격히 제어함으로써 수렴 속도가 $ o(1/t) $ 로 향상됨을 보여준다.

실험 결과

연구 질문

• RQ1 보조 문제 원칙에서 핵심 함수의 유연성을 반복 간 변화 가능성을 부여함으로써 향상시킬 수 있는가?
• RQ2 VAPP-AL 프레임워크는 비분리 목표 함수와 다중 블록 결합 제약 조건을 가진 볼록 문제에서 수렴성을 유지하고 증명 가능한 수렴 속도를 달성하는가?
• RQ3 VAPP-AL는 ADMM 변종 및 자코비 유형 분해 방법과 같은 기존 방법들을 복원하거나 일반화할 수 있는가?
• RQ4 VAPP-AL의 수렴 속도는 얼마이며, 핵심 함수가 이차 함수로 특수화될 경우 향상되는가?
• RQ5 변화하는 핵심 함수의 선택이 대규모 병렬 및 분산 환경에서 수렴 행동과 반복 복잡도에 어떤 영향을 미치는가?

주요 결과

• 핵심 함수의 헤시안과 제약 조건 행렬에 대한 약한 가정 하에, 비분리 목표 함수와 다중 블록 결합 선형 제약 조건을 가진 볼록 문제에 대해 VAPP-AL는 전역 수렴을 보장한다.
• 에르고딕 및 비에르고딕 모두에서 $ O(1/t) $ 의 수렴 속도를 달성하며, 하위 최적화 갭이 이 속도로 감소함을 보여준다.
• 핵심 함수가 이차 함수로 특수화될 경우, 수렴 속도가 $ o(1/t) $ 로 향상되어 일반 케이스보다 더 빠른 수렴을 나타낸다.
• 핵심 함수를 각 반복에서 변화시킴으로써, 자코비 유형 ADMM 변종 등 여러 기존 방법들을 일반화하고 통합하는 프레임워크를 제공한다.
• 수렴 분석은 최적성 갭 감소를 추적하는 리아푸노프 함수에 기반하며, 이 차이가 $ ar{H} $ 와 $ ho $ 를 포함하는 음의 정부호 이차형식에 의해 유계임을 보여준다.
• 비분리 문제일지라도 분리 가능한 정규화를 통해 하위 문제의 분해 가능성을 보장함으로써, 효율적인 병렬 및 분산 계산을 가능하게 한다.