[논문 리뷰] Dykstra's Algorithm, ADMM, and Coordinate Descent: Connections, Insights, and Extensions

Ryan J. Tibshirani|arXiv (Cornell University)|2017. 05. 12.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 8

한 줄 요약

이 논문은 페널티 함수가 반노름일 때, 정규화된 회귀에 대한 블록 좌표 강하와 이중 문제에 적용된 Dykstra의 알고리즘 사이에 정확한 동치성을 확립한다. 또한 두 집합 케이스에서 ADMM을 Dykstra의 방법과 연결하고, Dykstra 알고리즘의 수렴 이론을 활용하여, 디자인 행렬의 구조와 관계없이 라소 문제에 대한 좌표 강하의 수렴 속도가 渐진적으로 선형임을 증명한다. 논문은 또한 Dykstra와 ADMM 기반의 두 가지 병렬형 좌표 강하 변형을 제안하여 비제곱 손실 함수로의 프레임워크 확장을 이룬다.

ABSTRACT

We study connections between Dykstra's algorithm for projecting onto an intersection of convex sets, the augmented Lagrangian method of multipliers or ADMM, and block coordinate descent. We prove that coordinate descent for a regularized regression problem, in which the (separable) penalty functions are seminorms, is exactly equivalent to Dykstra's algorithm applied to the dual problem. ADMM on the dual problem is also seen to be equivalent, in the special case of two sets, with one being a linear subspace. These connections, aside from being interesting in their own right, suggest new ways of analyzing and extending coordinate descent. For example, from existing convergence theory on Dykstra's algorithm over polyhedra, we discern that coordinate descent for the lasso problem converges at an (asymptotically) linear rate. We also develop two parallel versions of coordinate descent, based on the Dykstra and ADMM connections.

연구 동기 및 목표

• 정규화된 회귀 문제에 대한 블록 좌표 강하와 반노름 페널티를 갖는 경우, 오랫동안 알려져 있지만 충분히 평가받지 못한 Dykstra의 알고리즘과의 정확한 동치성을 명확히 하고 형식화하는 것.
• 이 동치성을, 한 집합이 선형 부분공간인 두 집합 케이스에서 증강 라그랑주 방법(ADMM)으로 확장하는 것.
• Dykstra 알고리즘의 기존 수렴 이론을 활용하여, 특히 라소 문제에 대한 좌표 강하의 새로운 수렴 속도를 도출하는 것.
• Dykstra 알고리즘과 ADMM 기반의 새로운 병렬화 가능한 좌표 강하 변형을 개발하여 제곱 손실 함수뿐 아니라 비제곱 손실 함수에도 적용 가능하게 하는 것.
• 표준 라소 문제를 넘어선 분리 가능한 정규화 문제와 비유클리드 손실 함수로의 동치 프레임워크 일반화.

제안 방법

• 특정 이중성 매핑(반노름 페널티 포함) 하에서, 정규화된 회귀 문제의 이중 문제(2)에 대한 블록 좌표 강하는 수학적으로 원래 문제(1)에 대한 Dykstra의 알고리즘과 정확히 동치임을 증명한다.
• 이중 문제(1)에 대해 두 집합(한 집합은 선형 부분공간)을 갖는 ADMM이 Dykstra의 알고리즘과 동치임을 보이며, 이로써 이 케이스에서 ADMM과 Dykstra 방법 간의 직접적인 연결 고리를 확립한다.
• 이중 문제를 재구성하고 스케일링을 적용하여 블록 간 동시 갱신이 가능한 방식으로, Dykstra 알고리즘 기반의 병렬 좌표 강하 알고리즘을 유도한다.
• ADMM를 기반으로 한 두 번째 병렬 좌표 강하 변형을 개발하며, 이 경우 $u_0$-갱신은 비제곱 최소화 문제를 해결하지만, 블록 갱신은 여전히 $h_i$-정규화되고 분리 가능하다.
• 이중 문제를 쌍대 함수의 형태로 표현하고, Dykstra 기반 및 ADMM 기반 병렬 CD 방법에 대해 등가 갱신을 도출함으로써 비제곱 손실 함수로의 프레임워크 확장을 이룬다.
• ADMM 기반 병렬 CD의 비제곱 $u_0$-갱신을 효율적으로 해결하기 위해 이분법 검색을 사용하며, 손실 함수가 분리 가능하고 미분 가능할 경우 특히 효과적이다.

실험 결과

연구 질문

• RQ1 정규화된 회귀에 대한 블록 좌표 강하와 이중 문제에 적용된 Dykstra의 알고리즘 사이에 정확한 동치성이 존재하는가?
• RQ2 ADMM이 이중 문제에 대해 Dykstra의 알고리즘으로 축소되는 조건은 무엇인가?
• RQ3 Dykstra 알고리즘의 수렴 이론을 활용하여, 라소 문제에 대한 좌표 강하의 수렴 속도를 도출할 수 있는가?
• RQ4 Dykstra 알고리즘과 ADMM을 기반으로 한 병렬형 좌표 강하 변형을 구성할 수 있으며, 수렴을 보장하는가?
• RQ5 Dykstra 알고리즘과 좌표 강하 간의 동치성은 비제곱 손실 함수로까지 확장 가능한가?

주요 결과

• 라소 문제에 대한 좌표 강하는 디자인 행렬 $X$ 의 차원 또는 조건수와 관계없이 渐진적으로 선형 수렴 속도를 갖는다.
• 수렴 속도 상수에 대한 두 가지 명시적 표현을 유도하여 예측 변수 간 상관관계가 수렴 속도에 미치는 영향을 보여준다.
• Dykstra 알고리즘 기반의 병렬 좌표 강하 알고리즘을 제안하고, 모든 블록에서 동시에 갱신이 이루어지므로 전역 수렴이 보장됨을 증명한다.
• ADMM 기반의 두 번째 병렬 좌표 강하 변형을 개발하였으며, 이는 반복마다 하나의 비제곱 최소화 문제를 포함하지만, 손실 함수가 분리 가능할 경우 효율적인 단변량 하위문제를 허용한다.
• 비제곱 손실 함수의 경우, Dykstra 기반 및 ADMM 기반 병렬 CD 방법은 더 이상 동치가 아니며, 이는 $u_0$-갱신에서 서로 다른 정규화 구조가 존재하기 때문이다.
• 손실 함수가 분리 가능하고 미분 가능할 경우, ADMM 기반 방법의 $u_0$-갱신은 이분법을 통해 효율적으로 해결 가능하여 대규모 문제에 대해 확장 가능한 성능을 발휘한다.