[논문 리뷰] A Fully Sparse Implementation of a Primal-Dual Interior-Point Potential Reduction Method for Semidefinite Programming

Gun Srijuntongsiri, Stephen A. Vavasis|arXiv (Cornell University)|2004. 12. 02.

Advanced Optimization Algorithms Research참고 문헌 17인용 수 11

한 줄 요약

이 논문은 데이터 행렬의 희소성을 활용하기 위해 부분 행렬 표현을 사용하고, 역방향 자동 미분를 통해 장벽 함수의 기울기와 헤시안-벡터 곱을 효율적으로 계산하는, 풀 희소(primal-dual) 내점법 잠재력 감소 방법을 제시한다. 이 방법은 평면적 희소성 패턴에 대해 반복마다 O(n^{5/2})의 시간 복잡도와 O(n log n)의 공간 복잡도를 달성하여 기존의 O(n^3) 및 O(n^2) 복잡도보다 크게 향상시킨다.

ABSTRACT

In this paper, we show a way to exploit sparsity in the problem data in a primal-dual potential reduction method for solving a class of semidefinite programs. When the problem data is sparse, the dual variable is also sparse, but the primal one is not. To avoid working with the dense primal variable, we apply Fukuda et al.'s theory of partial matrix completion and work with partial matrices instead. The other place in the algorithm where sparsity should be exploited is in the computation of the search direction, where the gradient and the Hessian-matrix product of the primal and dual barrier functions must be computed in every iteration. By using an idea from automatic differentiation in backward mode, both the gradient and the Hessian-matrix product can be computed in time proportional to the time needed to compute the barrier functions of sparse variables itself. Moreover, the high space complexity that is normally associated with the use of automatic differentiation in backward mode can be avoided in this case. In addition, we suggest a technique to efficiently compute the determinant of the positive definite matrix completion that is required to compute primal search directions. The method of obtaining one of the primal search directions that minimizes the number of the evaluations of the determinant of the positive definite completion is also proposed. We then implement the algorithm and test it on the problem of finding the maximum cut of a graph.

연구 동기 및 목표

• 문제 데이터의 희소성에 대해 완전히 활용하는 효율적인 SDP 솔버를 개발함으로써, 특히 원시 변수가 밀집함에도 불구하고 데이터가 희소한 경우에 대비함.
• 기존 내점법에서 밀집된 원시 변수 저장 및 연산으로 인한 계산 병목 현상을 해결함.
• 희소성과 고급 수치 기법을 활용하여, 원시-이중 잠재력 감소 방법에서의 검색 방향 계산을 효율적으로 수행함.
• 양의 정부호 행렬 완성에 대한 행렬식 계산의 시간과 공간 복잡도를 감소시킴. 이는 원시 검색 방향 계산의 핵심 연산임.

제안 방법

• Fukuda 등의 행렬 완성 이론에 기반하여, 밀집된 원시 변수를 저장하고 운영하지 않기 위해 부분 행렬 표현을 사용함.
• 희소성과 연계하여 장벽 함수의 기울기와 헤시안-벡터 곱을 역방향 자동 미분를 통해 장벽 함수 평가 시간 비례로 계산함.
• 헤시안 행렬을 명시적으로 형성하거나 분해하지 않고도 선형 시스템을 해결하기 위해 공액 기울기 방법을 사용함.
• 양의 정부호 완성의 행렬식을 반복적으로 평가하지 않고도 한 개의 원시 검색 방향을 계산하는 기법을 제안함으로써 고비용 연산을 줄임.
• 겹치는 최대 클리크 간에 콜레스키 분해를 재사용하여, 특히 띠형 또는 평면적 구조에서 행렬 완성의 행렬식 계산을 가속화함.
• 뉴턴 방향에서 유도된 양의 양의 비뉴턴 검색 방향 두 개를 도입하여, 추가 비용을 최소화하면서도 잠재력 감소를 크게 향상시킴.

실험 결과

연구 질문

• RQ1 원시-이중 잠재력 감소 프레임워크에서 SDP 데이터 행렬의 희소성을 밀집 행렬 연산 없이 완전히 활용할 수 있는가?
• RQ2 희소 SDP 문제에서 로그 장벽 함수의 기울기와 헤시안-벡터 곱을 어떻게 효율적으로 계산할 수 있는가?
• RQ3 양의 정부호 행렬 완성의 행렬식을 반복적인 콜레스키 분해보다 더 효율적으로 계산할 수 있는가?
• RQ4 평면적 희소성 패턴을 가진 문제에 대해 풀 희소 SDP 솔버의 달성 가능한 시간 및 공간 복잡도는 무엇인가?
• RQ5 반복마다 잠재력 감소를 크게 향상시키면서도 추가 검색 방향을 최소한의 비용으로 계산할 수 있는가?

주요 결과

• 집계된 희소성 패턴이 평면 그래프를 이루는 SDP 문제에 대해, 알고리즘이 반복마다 O(n^{5/2})의 시간 복잡도와 O(n log n)의 공간 복잡도를 달성함.
• 역방향 자동 미분의 사용으로, 희소 문제에 대해서도 장벽 함수 평가 시간과 유사한 시간 내에 기울기와 헤시안-벡터 곱을 계산할 수 있음.
• 검색 방향 시스템을 해결하기 위한 공액 기울기 방법은 소수의 반복 내에서 수렴하여, 반복적 선형 해법에도 불구하고 실용적인 방법임을 입증함.
• 양의 정부호 완성의 행렬식 계산을 위한 제안된 방법은 띠형 케이스에서 O((n-p)p^2)의 복잡도로 감소하여, 콜레스키 분해 비용과 일치함.
• 두 개의 비뉴턴 검색 방향을 추가함으로써 추가 비용을 최소화하면서도 반복당 잠재력 감소를 크게 향상시켜 실질적인 수렴 속도 향상이 이루어짐.
• MAX-CUT 인스턴스에 대한 실험 결과는, 네 개의 검색 방향을 모두 사용한 전체 알고리즘이 뉴턴 방향만을 사용할 경우보다 최적 해를 더 빨리 찾는 것으로 확인됨.