[논문 리뷰] Semidefnite Relaxation Bounds for Indefinite Homogeneous Quadratic Optimization

Simai He, Zhi‐Quan Luo외 2명|ArXiv.org|2007. 01. 02.

Advanced Optimization Algorithms Research참고 문헌 7인용 수 7

한 줄 요약

이 논문은 비정재성 동차 이차 최적화 문제에 대한 준정형계획법(SDP) 근사의 날카운 경계를 확립한다. 최소화 문제에서 하나의 비정재성 제약 조건이 있을 경우 실수 영역에서는 $O(m^2)$, 복소수 영역에서는 $O(m)$의 SDP 근사 갭이 존재하며, 모든 제약 조건 중 하나를 제외한 나머지가 준정형이면서 최대화 문제일 경우 갭은 $O(1/\log m)$ 이하로 하한이 존재한다. 이는 이전 결과를 향상시키며, 명시적인 예시를 통해 이 경계의 날카로움을 입증한다.

ABSTRACT

In this paper we study the relationship between the optimal value of a homogeneous quadratic optimization problem and that of its Semidefinite Programming (SDP) relaxation. We consider two quadratic optimization models: (1) $\min \{x^* C x \mid x^* A_k x \ge 1, x\in\mathbb{F}^n, k=0,1,...,m\}$; and (2) $\max \{x^* C x \mid x^* A_k x \le 1, x\in\mathbb{F}^n, k=0,1,...,m\}$. If \emph{one} of $A_k$'s is indefinite while others and $C$ are positive semidefinite, we prove that the ratio between the optimal value of (1) and its SDP relaxation is upper bounded by $O(m^2)$ when $\mathbb{F}$ is the real line $\mathbb{R}$, and by $O(m)$ when $\mathbb{F}$ is the complex plane $\mathbb{C}$. This result is an extension of the recent work of Luo {\em et al.} \cite{LSTZ}. For (2), we show that the same ratio is bounded from below by $O(1/\log m)$ for both the real and complex case, whenever all but one of $A_k$'s are positive semidefinite while $C$ can be indefinite. This result improves the so-called approximate S-Lemma of Ben-Tal {\em et al.} \cite{BNR02}. We also consider (2) with multiple indefinite quadratic constraints and derive a general bound in terms of the problem data and the SDP solution. Throughout the paper, we present examples showing that all of our results are essentially tight.

연구 동기 및 목표

• 비정재성 동차 이차 최적화 문제에 대한 SDP 근사의 근사 품질을 분석하는 것.
• 이전의 정준정형 행렬으로부터의 경계를 비정재성 제약 조건 행렬로 확장하는 것.
• 최소화 및 최대화 형태의 문제에 대해 날카운 worst-case 근사 비율을 확립하는 것.
• 최대화 문제의 경우 Ben-Tal 등이 제안한 근사 S-레마를 향상시키는 것.
• 임의로 생성된 인스턴스에 대한 수치 실험을 통해 이론적 경계를 검증하는 것.

제안 방법

• 트레이스 및 준정형 행렬 콘의 제약 조건을 사용하여 최소화 및 최대화 형태의 동차 이차 계획 문제에 대한 SDP 근사를 유도한다.
• 원래 최적값과 SDP 근사 최적값 간의 비율을 제한하기 위해 worst-case 분석을 적용한다.
• SDP 해에서 탐색 가능한 해를 추출하기 위해 랜덤화된 라운딩 기법을 사용하며, 경험적 근사 품질을 추정한다.
• 이론적 경계의 날카로움을 입증하기 위해 명시적인 예시를 구성한다.
• 각 설정에서 1,000개의 랜덤 인스턴스를 사용하여 평균 사례 성능을 평가하기 위한 수치 실험을 수행한다.
• QR 분해와 랜덤 대각 요소를 활용하여 다양한 정규성(양의 정형, 랭크-1, 비정재성)을 가진 행렬을 생성한다.

실험 결과

연구 질문

• RQ1 비정재성 제약 조건이 하나인 동차 이차 최소화 문제의 최적값과 그 SDP 근사 간 worst-case 근사 비율은 무엇인가?
• RQ2 일부 또는 모든 $A_k$ 행렬이 비정재성일 경우, 제약 조건 수 $m$이 증가함에 따라 근사 비율은 어떻게 변화하는가?
• RQ3 모든 $A_k$ 중 하나를 제외한 나머지가 준정형이면서 $C$가 비정재성일 때, 최대화 문제의 근사 S-레마 경계를 향상시킬 수 있는가?
• RQ4 비정재성 제약 조건이 최소화 및 최대화 형태의 SDP 근사 경계의 날카로움에 어떤 영향을 미치는가?
• RQ5 임의로 생성된 인스턴스에서 경험적 근사 비율은 이론적 worst-case 경계와 어떻게 비교되는가?

주요 결과

• 비정재성 제약 조건이 하나인 최소화 문제에서 실수 영역에서는 $O(m^2)$, 복소수 영역에서는 $O(m)$의 SDP 근사 갭이 존재하며, 이 경계는 날카롭다.
• 여러 개의 제약 조건이 비정재성일 경우 근사 비율이 무한대가 될 수 있어, 단 하나의 비정재성 제약 조건이 존재하는 경우가 본질적으로 최선의 상황임을 보여준다.
• 모든 $A_k$ 중 하나를 제외한 나머지가 준정형이며 $C$가 비정재성인 최대화 문제에서 SDP 근사 갭은 $O(1/\log m)$ 이하로 하한이 존재하며, 이는 이전의 $O(\log(n^2m))$ 경계를 향상시킨다.
• 논문에서 제시한 명시적인 worst-case 예시를 통해 이론적 경계의 날카로움이 입증된다.
• 수치 실험 결과 경험적 근사 비율은 worst-case 경계보다 훨씬 우수한 편이며, 비정재성 제약 조건이 하나일 경우 특히 두드러진다.
• 경험적 결과는 비정재성 제약 조건의 수가 증가할수록 성능이 악화됨을 확인하며, 이는 이론적 기대와 일치한다.