[논문 리뷰] Distributed Convex Optimization with Many Convex Constraints

Joachim Giesen, Sören Laue|arXiv (Cornell University)|2016. 10. 07.

Optimization and Variational Analysis인용 수 19

한 줄 요약

이 논문은 일반적인 볼록 최적화 문제에 대해 많은 비선형 제약 조건을 다룰 수 있도록 ADMM를 확장하는 새로운 분산 알고리즘을 제안한다. 이 알고리즘은 공통화 및 제약 조건 처리 루프를 하나의 이중 루프 구조로 통합한다. 이 방법은 ADMM와 보완된 라그랑주 방법( Augmented Lagrangian method)의 수렴 보장 성질을 그대로 이어받아, 삼중 루프가 필요한 이전 방법들과 달리 대규모 문제(예: 강건한 서포트 벡터 머신)를 효율적이고 확장 가능하게 해결할 수 있다.

ABSTRACT

We address the problem of solving convex optimization problems with many convex constraints in a distributed setting. Our approach is based on an extension of the alternating direction method of multipliers (ADMM) that recently gained a lot of attention in the Big Data context. Although it has been invented decades ago, ADMM so far can be applied only to unconstrained problems and problems with linear equality or inequality constraints. Our extension can handle arbitrary inequality constraints directly. It combines the ability of ADMM to solve convex optimization problems in a distributed setting with the ability of the Augmented Lagrangian method to solve constrained optimization problems, and as we show, it inherits the convergence guarantees of ADMM and the Augmented Lagrangian method.

연구 동기 및 목표

• 표준 ADMM가 직접 다룰 수 없는 많은 비선형 제약 조건을 가진 문제에 대해 분산 볼록 최적화의 격차를 해소하기 위해.
• 이전 방법이 공통화, 제약 조건 처리, 비제약 하위 문제 해결을 위한 루프를 별도로 필요로 하였던 바, 분산 제약 최적화에서 삼중 루프의 필요성을 제거하기 위해.
• ADMM의 분산 구조와 보완된 라그랑주 방법이 임의의 볼록 부등식 제약 조건을 다룰 수 있는 능력을 통합한 통합 알고리즘을 개발하기 위해.
• 공통화 및 제약 조건 처리 기능을 통합한 게으른(.lazy) 이중 루프 알고리즘 체계의 수렴성을 공식적으로 분석하지 않은 바에 대해, 이에 대한 수렴 증명을 제공하기 위해.
• 강건한 서포트 벡터 머신 및 코어 벡터 머신과 같은 실제 문제에 대해 분산 컴퓨팅 노드를 활용하여 확장성과 효율성을 입증하기 위해.

제안 방법

• 보완된 라그랑주 방법을 통합하여 일반적인 볼록 부등식 제약 조건을 직접 다룰 수 있도록 ADMM을 확장함으로써, 탇합 집합 위로의 사영을 피함.
• 이중 루프 구조를 사용함: 외부 루프는 보완된 라그랑주 방법을, 내부 루프는 ADMM을 구동하며, 공통화 및 제약 조건 처리의 역할을 통합함.
• 분리 가능한 目적 함수와 많은 비선형 제약 조건을 가진 문제(예: 최소 봉투 구의 반지름 최소화 또는 강건한 서포트 벡터 머신)에 적용함.
• 이중 목적 함수의 교차 방향 기법과 이중 상승 및 페널티 항 갱신을 통해 분산 노드 간의 제약 조건 강제 및 공통화를 달성함.
• ADMM와 보완된 라그랑주 방법의 이론적 성질을 조합하여 수렴 보장을 도출함으로써, 표준 가정 하에 최적 해로 수렴함을 보장함.
• 분산 하드웨어에 알고리즘을 구현하여 데이터 포인트를 컴퓨팅 노드에 분산하고, 병렬로 국소 하위 문제를 해결함.

실험 결과

연구 질문

• RQ1 삼중 루프가 필요로 하는 이전 방법들과 달리, ADMM를 일반적인 볼록 부등식 제약 조건을 다룰 수 있도록 분산 환경에서 확장할 수 있는가?
• RQ2 분산 최적화에서 공통화 및 제약 조건 처리 단계를 통합하여 알고리즘 복잡도를 감소시킬 수 있는가?
• RQ3 제안된 이중 루프 알고리즘은 삼중 루프 기반 기준 대비 수렴 보장을 유지하면서도 효율성을 향상시키는가?
• RQ4 실제 응용(예: 강건한 서포트 벡터 머신)에서 제약 조건 수와 컴퓨팅 노드 수에 따라 알고리즘이 어떻게 확장되는가?
• RQ5 제안된 프레임워크에서 수렴을 위한 반복 수에 영향을 주는 근사 정확도의 영향은 무엇인가?

주요 결과

• 제안된 알고리즘은 비선형 제약 조건이 많은 분산 환경에서도 일반적인 볼록 제약 조건을 성공적으로 다룰 수 있으며, 각 반복에서 제약 조건이 있는 하위 문제를 해결할 필요가 없음.
• 단지 두 개의 중첩 루프만으로도 수렴을 달성하여, 이전 방법이 공통화, 제약 조건 처리, 비제약 하위 문제 해결을 별도로 처리하기 위해 삼중 루프가 필요한 것과 비교해 성능이 뛰어남.
• 강건한 서포트 벡터 머신에 대한 실험 결과, 데이터 포인트 수가 증가할수록 반복 수가 감소함을 확인하여, 국소 다양성이 높아지고 공통화가 더 잘 이루어지면서 수렴이 향상됨을 시사함.
• 높은 근사 정확도(∥zᵏ−z*∥∞ ≤ 5·10⁻³)는 반복 수를 크게 증가시키며, 이는 표준 ADMM의 알려진 행동과 일치함.
• 컴퓨팅 노드 수와 데이터 포인트 수 양면에서 확장성이 입증되었으며, 노드당 데이터 포인트 수가 증가할수록 실행 시간이 감소함.
• 실험 결과는 실무에서 중간 정도의 정확도로도 충분히 효과적인 해를 얻을 수 있으며, 머신 러닝에서 조기 정지에 의한 정규화와 일치함을 지지함.