[논문 리뷰] Gordon's inequality and condition numbers in conic optimization

Dennis Amelunxen, Martin Lötz|arXiv (Cornell University)|2014. 08. 13.

Advanced Optimization Algorithms Research참고 문헌 35인용 수 10

한 줄 요약

이 논문은 구형 비교 부등식—특히 슬레피안의 부등식과 고턴의 부등식—을 사용하여 콘형 최적화에서 조건수의 확률적 분석을 통합한다. 이를 통해 볼록 콘 위에 제한된 가우시안 행렬의 조건수 및 특이값에 대한 더 날카운 bounds를 도출하며, 적분 기하학과 난수 행렬 이론을 연결하여 尾 꼬리 추정치와 渐近적 행동을 향상시킨다.

ABSTRACT

The probabilistic analysis of condition numbers has traditionally been approached from different angles; one is based on Smale's program in complexity theory and features integral geometry, while the other is motivated by geometric functional analysis and makes use of the theory of Gaussian processes. In this note we explore connections between the two approaches in the context of the biconic homogeneous feasiblity problem and the condition numbers motivated by conic optimization theory. Key tools in the analysis are Slepian's and Gordon's comparision inequalities for Gaussian processes, interpreted as monotonicity properties of moment functionals, and their interplay with ideas from conic integral geometry.

연구 동기 및 목표

• 스메일의 복잡도 이론과 기하학적 함수해석학이라는 두 전통 간의 다리를 놓는 것.
• 특히 볼록 콘 위에 제한된 가우시안 랜덤 연산자에 대한 조건수의 확률적 행동을 분석하는 것.
• 가우시안 비교 부등식과 볼록 콘의 적분 기하학을 활용하여 조건수의 더 날카운 尾 꼬리 bounds를 수립하는 것.
• 고차원 환경에서 제한된 특이값과 노름의 渐近적 행동을 탐색하는 것.
• 가우시안 비교 부등식이 레네가르의 조건수 분포에 효과적인 bounds를 제공할 수 있는지 조사하는 것.

제안 방법

• 볼록 체적 위에서 모멘트 함수기능의 단조성 성질을 도출하기 위해 슬레피안의 부등식과 고턴의 비교 부등식을 사용한다.
• 고차원 콘 제한 랜덤 연산자의 고차 모멘트를 일반화하기 위해 정규직교 불변 치환(모멘트 함수기능)을 도입한다.
• 이 함수기능을 사용하여 선형 이미지의 볼록 콘의 가우시안 폭과 통계적 차원을 bound한다.
• 모멘트 함수기능을 볼록 번들의 개념으로 일반화하여 고턴의 부등식을 제한된 특이값의 맥락에서 기하학적으로 해석한다.
• 소구간 공식과 운동 공식을 적용하여 작은 특이값과 불량 문제의 확률을 분석한다.
• 비가우시안 분포를 고려하기 위해 비교 부등식의 서브가우시안 확장 기법을 활용한다.

실험 결과

연구 질문

• RQ1 슬레피안의 부등식과 고턴의 부등식으로 유도된 콘 제한 특이값에 대한 bounds가 고차원에서 渐近적으로 정확한가?
• RQ2 통계적 차원의 콘 기반으로 제한된 연산자 노름과 최소 특이값의 渐近적 행동을 기술할 수 있는가?
• RQ3 가우시안 비교 기법을 사용하여 레네가르의 조건수의 기대 로그에 다항 bounds를 도출할 수 있는가?
• RQ4 볼록 번들의 수축 사상이 불량 문제와의 거리에 대한 효과적인 尾 꼬리 bounds를 도출할 수 있는가?
• RQ5 에델만의 정확한 공식을 확장하여 콘 제한 행렬 노름과 특이값에 대한 일반화된 스테이너 공식을 개발할 수 있는가?

주요 결과

• 슬레피안의 부등식과 고턴의 부등식은 볼록 콘 위에서 모멘트 함수기능의 단조성 성질로 해석되어 콘 제한 연산자의 고차 모멘트에 대한 새로운 bounds를 가능하게 한다.
• 이러한 모멘트 함수기능을 사용하여 볼록 콘의 선형 이미지의 가우시안 폭과 통계적 차원에 대한 bounds를 도출한다.
• 스티펠 맨ifold $\operatorname{St}_{n,m}$ 위의 랜덤 행렬 $\bm{U}$에 대해, 尾 꼬리 확률 $\mathbb{P}\{\mathcal{R}_C(\bm{U}) \geq t\}$ 는 $t \to \infty$ 일 때 감소하는 계수 $v_k(C)$와 함수 $f_{m,n,k}(t)$를 포함한 합으로 bound되며, 이는 조건수의 기대 로그에 다항 bounds를 제공한다.
• 가우시안 비교 부등식으로부터 도출된 bounds는 조건수 분포에 대한 튜브 공식 기반 추정치의 전체 감쇠를 포착하지 못하며, 이는 직접 적용 가능성에 대한 제한을 시사한다.
• 渐近적 추측을 제시한다: $\|\bm{G}\|_{C\to D} \sim \sqrt{dn} + \sqrt{cm}$ 및 $\sigma_{C\to D}(\bm{G}) \sim \sqrt{dn} - \sqrt{cm}$ 이며, $m,n \to \infty$ 이고 $m/n \to \text{const}$ 일 때 통계적 차원의 수렴 조건 하에 성립한다.
• 이론을 서브가우시안 행렬으로 확장하는 것이 가능할 것으로 제안되며, 비교 부등식의 기존 확장 기법을 바탕으로 한다.