[논문 리뷰] A Note on the Convexity of $\log \det ( I + KX^{-1} )$ and its Constrained Optimization Representation

Kwang-Ki K. Kim|arXiv (Cornell University)|2015. 09. 02.

Sparse and Compressive Sensing Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 양의 정부호 콘의 위에서 $\log\det(I + KX^{-1})$ 및 $\log\det(K + X^{-1})$의 볼록성(또한 $K \succ 0$일 경우 강한 볼록성)을 행렬 대수 기반으로 증명한다. 선형 행렬 부등식(LMI)을 사용한 등가의 볼록 최적화 표현을 제안하여, 이 함수들을 포함하는 제약 최적화 문제를 준엄한 프로그래밍을 통해 효율적으로 해결할 수 있도록 한다.

ABSTRACT

This note provides another proof for the {\em convexity} ({\em strict convexity}) of $\log \det ( I + KX^{-1} )$ over the positive definite cone for any given positive semidefinite matrix $K \succeq 0$ (positive definite matrix $K \succ 0$) and the {\em strictly convexity} of $\log \det (K + X^{-1})$ over the positive definite cone for any given $K \succeq 0$. Equivalent optimization representation with linear matrix inequalities (LMIs) for the functions $\log \det ( I + KX^{-1} )$ and $\log \det (K + X^{-1})$ are presented. Their optimization representations with LMI constraints can be particularly useful for some related synthetic design problems.

연구 동기 및 목표

• 임의의 $K \succeq 0$에 대해 양의 정부호 콘 위에서 $\log\det(I + KX^{-1})$의 볼록성을 확립하고, $K \succ 0$일 경우 강한 볼록성을 증명한다.
• 양의 정부호 콘 위에서 $\log\det(K + X^{-1})$의 강한 볼록성을 증명한다.
• 두 함수 모두에 대해 선형 행렬 부등식(LMI) 제약 조건을 갖는 등가의 볼록 최적화 표현을 유도한다.
• 이러한 LMI 표현이 $X \succ 0$를 포함하는 제약 최적화 문제 해결에 어떻게 유용한지 보여준다.
• 행렬 $X$에 대한 추가적인 구조적 제약 조건을 결정 최대화 또는 최소화 문제에 통합하기 위한 프레임워크를 제공한다.

제안 방법

• 양의 정부호 콘 위에서 $-\log\det(X)$의 강한 볼록성이 기초가 되는 요소로 활용된다.
• $Z \succ 0$라는 슬랙 변수를 도입하여 $\log\det(I + KX^{-1})$를 $\log\det(Z^{-1})$의 최소화로 재구성하고, LMI 제약 조건을 부과한다.
• 슈어 여부를 사용하여 부등식 $I + K^{1/2}X^{-1}K^{1/2} \preceq Z^{-1}$를 LMI $\begin{bmatrix} I - Z & K^{1/2} \\ K^{1/2} & X + K \\ \nolimits \end{bmatrix} \succeq 0$로 변환한다.
• 비슷한 슬랙 변수와 슈어 여부 기법을 사용하여 $\log\det(K + X^{-1})$에 대한 등가의 LMI 표현을 도출한다.
• 함수 $\log\det(\cdot)$의 단조성과 제약 집합의 컴act성에 기반하여 원래의 로그 행렬식 함수와 유도된 준엄한 프로그래밍 간의 동치성을 확립한다.
• LMI 제약 조건의 선형성과 $-\log\det(Z)$의 강한 볼록성에 기반하여 원래 함수의 볼록성을 증명한다.

실험 결과

연구 질문

• RQ1 $\log\det(I + KX^{-1})$는 임의의 $K \succeq 0$에 대해 양의 정부호 콘 위에서 볼록한가?
• RQ2 $\log\det(I + KX^{-1})$는 어떤 조건에서 강한 볼록한가?
• RQ3 $\log\det(K + X^{-1})$는 선형 행렬 부등식 제약 조건을 갖는 볼록 최적화 문제로 표현될 수 있는가?
• RQ4 $\log\det(X^{-1})$의 볼록성에 기반한 행렬 대수 기반 접근을 통해 $\log\det(I + KX^{-1})$의 볼록성을 어떻게 증명할 수 있는가?
• RQ5 $\log\det(I + KX^{-1})$ 및 $\log\det(K + X^{-1})$에 대한 등가의 LMI 제약 최적화 표현은 무엇인가?

주요 결과

• $f(X) = \log\det(I + KX^{-1})$는 임의의 $K \succeq 0$에 대해 양의 정부호 콘 $\mathbb{S}_{++}^n$ 위에서 볼록하다.
• $f(X) = \log\det(I + KX^{-1})$는 $K \succ 0$일 경우 $\mathbb{S}_{++}^n$ 위에서 강한 볼록하다.
• $g(X) = \log\det(K + X^{-1})$는 임의의 $K \succeq 0$에 대해 $\mathbb{S}_{++}^n$ 위에서 강한 볼록하다.
• 모든 $X \succ 0$에 대해 $\log\det(I + KX^{-1})$는 다음 준엄한 프로그래밍의 최적값과 동치이다: $\min_{Z \succ 0} \log\det(Z^{-1})$ 제약 조건 $\begin{bmatrix} I - Z & K^{1/2} \\ K^{1/2} & X + K \end{bmatrix} \succeq 0$.
• 유사하게, $\log\det(K + X^{-1})$는 다음과 동치이다: $\min_{Z \succ 0} \log\det(Z^{-1})$ 제약 조건 $\begin{bmatrix} X - Z & X^{1/2}K^{1/2} \\ K^{1/2}X^{1/2} & I + K^{1/2}XK^{1/2} \end{bmatrix} \succeq 0$.
• 이러한 LMI 표현은 $\log\det(I + KX^{-1})$ 또는 $\log\det(K + X^{-1})$를 포함하는 제약 최적화 문제를 추가 슬랙 변수를 가진 표준 준엄한 프로그래밍으로 재구성할 수 있도록 한다.