[논문 리뷰] Barrier and penalty methods for low-rank semidefinite programming with application to truss topology design

Soodeh Habibi, Arefeh Kavand외 2명|arXiv (Cornell University)|2021. 05. 18.

Advanced Optimization Algorithms Research참고 문헌 39인용 수 1

한 줄 요약

이 논문은 2차원 충족형 프로그래밍(SDP) 알고리즘 내에서 켤레 해의 저랭크 구조를 활용하여 공액 그래디언트(CG) 방법의 수렴 속도를 가속화하는 새로운 전처리 행렬을 제안한다. 이 방법은 원-쌍대 내점점법과 새로운 원-쌍대 증강 라그랑주(PDAL) 프레임워크 양쪽 모두에서 효과적이며, 메모리 및 시간 제약로 인해 기존 SDP 솔버로는 해결이 불가능한 대규모 트러스 구조 최적화 문제에서 빠른 속도 향상과 낮은 반복 수, 높은 정확도를 보여준다.

ABSTRACT

The aim of this paper is to solve large-and-sparse linear Semidefinite Programs (SDPs) with low-rank solutions. We propose to use a preconditioned conjugate gradient method within second-order SDP algorithms and introduce a new efficient preconditioner fully utilizing the low-rank information. We demonstrate that the preconditioner is universal, in the sense that it can be efficiently used within a standard interior-point algorithm, as well as a newly developed primal-dual penalty method. The efficiency is demonstrated by numerical experiments using the truss topology optimization problems of growing dimension.

연구 동기 및 목표

• 저랭크 해를 가지는 대규모 희소 선형 충족형 프로그래밍(SDP) 문제를 해결하는 데서 발생하는 계산적 병목 현상을 해결한다.
• 내점점법에서 큰 밀도 높은 헤시안 행렬을 조립하고 분해하는 데 드는 높은 비용을 줄이기 위해 직접 해법 대신 반복적 CG 방법을 도입한다.
• 정확한 해의 랭크를 사전에 알 필요 없이도 효과적인, 보편적이고 저랭크 인식 전처리 행렬을 개발한다.
• 제안된 전처리 행렬이 표준 내점점법과 새로 제안된 원-쌍대 증강 라그랑주(PDAL) 알고리즘 양쪽 모두에서 효과적임을 입증한다.
• 기존 SDP 솔버가 메모리 및 시간 제약로 해결이 불가능한 대규모 트러스 구조 최적화 문제의 스케일러블한 해법을 가능하게 한다.

제안 방법

• 저랭크 해의 구조를 활용하여 SDP 알고리즘에서 발생하는 선형 시스템의 조건수를 개선하는 전처리 행렬 $ H_\alpha $ 를 도입한다.
• 2차원 SDP 알고리즘의 각 반복에서 뉴턴 시스템을 해결하기 위해 전처리된 공액 그래디언트(PCG) 방법에 이 전처리 행렬을 적용한다.
• PCG 솔버를 두 가지 알고리즘에 통합한다: (1) 네스테로프-타드 방향을 사용하는 표준 원-쌍대 내점점법, (2) 새로운 원-쌍대 증강 라그랑주(PDAL) 방법.
• 선형 제약 조건에는 이차-로그형 페널티를, 선형 행렬 부등식(LMI)에는 hyperbolic 페널티 함수를 사용하여, PCG를 통해 효율적인 하위문제 해법을 가능하게 한다.
• 증강 라그랑주 프레임워크 내에서 뉴턴 시스템을 원-쌍대 시스템으로 공식화하고, 저랭크 전처리 행렬을 사용한 PCG로 근사적으로 해결한다.
• 추정된 랭크가 실제 해의 랭크보다 낮더라도 전처리 행렬이 여전히 효과적이며, 알고리즘 수렴에 실패 없이 유지됨을 보장한다.

실험 결과

연구 질문

• RQ1 저랭크 인식 전처리 행렬이 저랭크 해를 가지는 대규모 SDP 문제를 해결할 때 CG 반복 수를 크게 줄일 수 있는가?
• RQ2 제안된 전처리 행렬은 표준 내점점법과 새로운 증강 라그랑주 프레임워크를 포함한 다양한 2차원 SDP 알고리즘에서 어떻게 성능을 발휘하는가?
• RQ3 전처리 행렬이 없더라도 일부 문제 유형에 대해서는 효율적인 해법이 가능한가? 그리고 언제는 이것이 부족한가?
• RQ4 트러스 구조 최적화 문제에서 제안된 전처리 행렬을 사용한 PCG 방법이 직접 해법 대비 CPU 시간과 확장성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ5 추정된 해의 랭크가 실제 랭크보다 낮을 경우, 이 방법이 높은 정확도와 강건성을 유지할 수 있는가?

주요 결과

• tru11 문제에서 제안된 $ H_\alpha $ 전처리 행렬은 CG 반복 수를 77,700회에서 344회로 감소시켜 내점점법에서 CPU 시간을 303초에서 2.62초로 단축시켰다.
• PDAL 알고리즘이 내점점법보다 더 높은 해의 정확도를 달성했으며, 특히 반복적 해법에 유리한 조건수를 가진 시스템 행렬을 제공했다.
• tru11과 같은 트러스 문제에서는 표준 솔버(SDPNAL+, SDPLR)가 최대 반복 수 한도 내에서 수렴하지 못하는 반면, 제안된 방법은 성공적으로 수렴했다.
• 대각행렬 $ A^\top A $ 를 가지는 행렬 완성 문제에서는 전처리가 필요 없지만, $ H_\alpha $ 전처리 행렬을 사용함으로써 CG 단계 수를 4,045회에서 288회로 감소시켰다.
• 추정된 랭크가 실제 랭크보다 낮더라도 방법은 여전히 효과적이며, 수렴에 영향을 주지 않고 오직 CG 반복 수만 증가시킨다.
• 모든 테스트된 트러스 문제에서 $ H_\alpha $ 를 사용한 PCG 방법은 높은 정확도(DIMACS 허용 오차 1e-5)를 달성했으며, 다른 솔버들은 종종 이 기준을 충족하지 못했다.