[논문 리뷰] SDLS: a Matlab package for solving conic least-squares problems

Didier Henrion, Jérôme Malick|ArXiv.org|2007. 09. 17.

Matrix Theory and Algorithms참고 문헌 2인용 수 6

한 줄 요약

SDLS는 이중 준뉴턴 최적화를 통해 볼록 콘형 최소제곱 문제를 해결하기 위한 무료이고 사용자 친화적인 MATLAB 패키지입니다. 준정규성과 대각 요건을 보장하면서, 양의 준정규성을 확보하기 위해 정수형 콘에 투영함으로써 주어진 행렬에 대한 가장 가까운 상관행렬을 효율적으로 계산합니다. 부드럽고 확장 가능한 알고리즘과 내장된 수렴 모니터링 기능을 통해 수렴성을 보장합니다.

ABSTRACT

This document is an introduction to the Matlab package SDLS (Semi-Definite Least-Squares) for solving least-squares problems over convex symmetric cones. The package is shortly presented through the addressed problem, a sketch of the implemented algorithm, the syntax and calling sequences, a simple numerical example and some more advanced features. The implemented method consists in solving the dual problem with a quasi-Newton algorithm. We note that SDLS is not the most competitive implementation of this algorithm: efficient, robust, commercial implementations are available (contact the authors). Our main goal with this Matlab SDLS package is to provide a simple, user-friendly software for solving and experimenting with semidefinite least-squares problems. Up to our knowledge, no such freeware exists at this date.

연구 동기 및 목표

• 볼록 대칭 콘 위에서 정수형 최소제곱 문제를 해결하기 위한 간단하고 오픈소스의 MATLAB 도구를 제공하는 것.
• 상용 소프트웨어에 의존하지 않고도 연구자와 실무자가 콘형 최소제곱 최적화를 실험할 수 있도록 하는 것.
• 양의 준정규성과 대각 요건을 복원함으로써 상관행렬 校정과 같은 실용적 응용을 지원하는 것.
• SeDuMi의 문법을 모방하면서도 다른 유형의 문제(이차 목표 vs 선형 목표)를 해결하는 투명하고 사용하기 쉬운 구현을 제공하는 것.
• 접근 가능한 문법과 내장된 수렴 진단 기능을 통해 수치 실험을 용이하게 하는 것.

제안 방법

• 원래의 콘형 최소제곱 문제의 이중 문제를 준뉴턴 BFGS 알고리즘을 사용하여 해결하는 방법.
• 이중 목표 함수는 f(y) = ½‖p_K(c + Aᵀy)‖² − bᵀy이며, 여기서 p_K는 콘 K에 대한 정규 투영을 의미합니다.
• 알고리즘은 MATLAB의 내장된 eig 함수를 활용하여 고유값 분해를 수행하고, 희소 행렬을 효율적으로 처리합니다.
• 콘 K는 K.f(자유 변수), K.l(음이 아닌 변수), K.q(이차 콘 제약), K.s(정수형 행렬 블록) 필드를 가진 구조체로 지정됩니다.
• 구현은 HANSO의 BFGS 솔버를 사용하며, 수치적 안정성을 위해 선택적 정규화와 스케일링을 포함합니다.
• 수렴은 잔차 노름(norm(A*x - b))을 통해 모니터링되며, 이는 이중 목표 함수의 기울기 노름과 동일합니다.

실험 결과

연구 질문

• RQ1 사용자 우호적인 문법을 갖춘 단순하고 무료인 MATLAB 패키지를 개발하여 콘형 최소제곱 문제를 해결할 수 있는가?
• RQ2 실제로 정수형 최소제곱 문제를 해결하는 데 있어 이중 준뉴턴 접근법은 얼마나 효과적인가?
• RQ3 SDLS는 손상된 상관행렬의 양의 준정규성을 얼마나 잘 복원할 수 있으며, 대각 요건을 유지할 수 있는가?
• RQ4 비상업적 구현에서 단순성과 성능 사이의 수치적 트레이드오프는 어떠한가?
• RQ5 정규화 및 스케일링과 같은 튜닝 파rameter는 수렴성과 해의 품질에 어떤 영향을 미치는가?

주요 결과

• SDLS는 주어진 행렬을 정수형 콘과 단위 대각 요건으로 정의된 약한 부분공간의 교차에 투영함으로써 가장 가까운 상관행렬을 성공적으로 계산합니다.
• 예제에서 원래 행렬 C의 최소 고유값은 -0.0349였으며, 이는 양의 준정규성의 상실을 나타내었고, 이는 해 X에서 최소 고유값 3.0097e-16로 복원되어 수치적 준정규성을 확인했습니다.
• 잔차 노름(norm(A*x - b))이 max(1, ||b||) × eps 이하일 때 알고리즘이 수렴하며, 기본 상대 정확도 eps = 1e-6로 설정됩니다.
• 해에서의 기울기 노름은 잔차 노름과 동일하며, 이는 품질 지표로 사용되며, 지정된 허용 오차 이하이어야 합니다.
• 정규화(pars.reg = 1e-6 등)는 약한 제약 조건이 콘에 접촉할 경우, 잠재적인 불안정 문제를 나타내므로 성능 향상에 기여합니다.
• 패키지는 기능 값, 기울기, 헤시안 근사, CPU 시간 등을 포함한 info 구조체를 통해 상세한 출력을 제공하여 해의 검증이 가능합니다.