[논문 리뷰] Interior-point methods for unconstrained geometric programming and scaling problems

Peter Bürgisser, Yinan Li외 2명|arXiv (Cornell University)|2020. 08. 27.

Advanced Optimization Algorithms Research참고 문헌 36인용 수 7

한 줄 요약

이 논문은 비제약 기하 프로그래밍을 위한 내점법에 대한 조건 기반 분석을 제시하며, 뉴턴 다면체와 연결된 기하 조건 수를 도입하여 반복 복잡도의 경계를 설정한다. 이는 행렬 스케일링과 균형 조정에 대한 최근 결과를 일반화하며, 다면체에 대한 일반적이고 조합적 가정 하에서 날카운 복잡도 보장을 제공하고, 전적으로 단순형인 경우 개선된 경계를 제공한다.

ABSTRACT

We provide a condition-based analysis of two interior-point methods for unconstrained geometric programs, a class of convex programs that arise naturally in applications including matrix scaling, matrix balancing, and entropy maximization. Our condition numbers are natural geometric quantities associated with the Newton polytope of the geometric program, and lead to diameter bounds on approximate minimizers. We also provide effective bounds on the condition numbers both in general and under combinatorial assumptions on the Newton polytope. In this way, we generalize the iteration complexity of recent interior-point methods for matrix scaling and matrix balancing. Recently, there has been much work on algorithms for certain optimization problems on Lie groups, known as capacity and scaling problems. For commutative groups, these problems reduce to unconstrained geometric programs, which serves as a particular source of motivation for our work.

연구 동기 및 목표

• 행렬 스케일링, 균형 조정, 엔트로피 최대화에서 발생하는 볼록 최적화 문제인 비제약 기하 프로그래밍을 위한 내점법의 조건 기반 분석을 제공한다.
• 포스노미얼의 뉴턴 다면체 기반 자연스러운 기하 조건 수를 정의하여 근사 최소화자에 대한 지름 경계를 가능하게 한다.
• 일반적이고 조합적 가정(예: 전적으로 단순형) 하에서 이러한 조건 수에 대한 효과적인 상한 및 하한을 유도한다.
• 통합된 프레임워크를 통해 행렬 스케일링 및 균형 조정 문제에 대한 최근 반복 복잡도 결과를 일반화하고 개선한다.
• 새로운 조건 수와 다면체 기하학을 사용하여 기하 프로그래밍과 그 관련 스케일링 문제에 대해 날카운 반복 복잡도 경계를 확립한다.

제안 방법

• 특히 면 간격과 면으로부터의 거리에 기반한 뉴턴 다면체 기하학을 바탕으로 한 조건 수를 도입하여 문제의 조건을 측정한다.
• 목적 함수가 $ F(x) = \log \sum_{i=1}^k q_i e^{\langle \omega_i, x \rangle} $ 가 되는 로그 스케일 변수에서의 변환된 볼록 문제에 내점법을 적용한다.
• F(x)의 그래디언트를 사용하여 관련 스케일링 문제를 정의하며, 이는 행렬 및 텐서 스케일링을 일반화한다.
• 지수 행렬의 전적으로 단순형 성질을 활용하여 면 간격과 단일 면 복잡도의 하한을 도출하여 조건 수가 유계임을 보장한다.
• 크래머의 정리와 부분행렬식 하한을 활용하여 뉴턴 다면체의 면들로부터 원점까지의 거리에 하한을 설정한다.
• 전적으로 단순형 조건 하에서 기하 프로그래밍에 대해 $ \tilde{O}(\sqrt{k} \log(1/\delta)) $, 스케일링 문제에 대해 $ \tilde{O}(\sqrt{k} \log(1/\varepsilon)) $ 의 반복 복잡도 경계를 도출한다.

실험 결과

연구 질문

• RQ1 뉴턴 다면체 기하학에 기반한 조건 수는 비제약 기하 프로그래밍을 위한 내점법의 반복 복잡도 분석에 어떻게 활용될 수 있는가?
• RQ2 일반적이고 조합적으로 구조화된 뉴턴 다면체에 대해 조건 수에 대한 효과적인 상한 및 하한은 무엇인가?
• RQ3 통합된 기하 기반 프레임워크를 통해 행렬 스케일링 및 균형 조정을 위한 내점법의 반복 복잡도를 복원하고 개선할 수 있는가?
• RQ4 전적으로 단순형은 조건 수가 유계임을 보장하고 더 날카운 복잡도 경계를 제공하는 데 어떤 역할을 하는가?
• RQ5 뉴턴 다면체의 면 간격은 기하 프로그래밍을 위한 내점법의 수렴 속도에 어떻게 영향을 미치는가?

주요 결과

• 논문은 뉴턴 다면체의 면 간격과 원점으로부터의 거리에 기반한 조건 수를 확립하여 내점법의 반복 복잡도를 결정짓는다.
• 조건이 잘 맞는 뉴턴 다면체를 가진 경우, 기하 프로그래밍에서 $ \tilde{O}(\sqrt{k} \log(1/\delta)) $ 번의 반복으로 $ \delta $-정확도를 달성한다.
• 전적으로 단순형 조건 하에서 면 간격은 $ n^{-1/2} $ 이상으로 하한이 주어지고, 단일 면 복잡도는 최대 $ n $ 이므로 효과적인 조건 수 경계가 도출된다.
• 스케일링 문제의 반복 복잡도는 $ \tilde{O}(\sqrt{k} \log(1/\varepsilon)) $ 로, 행렬 스케일링의 최신 기준과 일치하고 약간 향상된다.
• 뉴턴 다면체의 어떤 면으로부터도 원점까지의 거리에 대한 하한은 $ \Omega(n^{-3/2}) $ 이며, 이는 단순형 케이스에서 조건 수가 유계임을 보장한다.
• 기존의 행렬 스케일링 및 균형 조정 결과를 더 넓은 기하 프로그래밍 프레임워크에 통합하여 정밀한 복잡도 보장을 제공함으로써 분석을 일반화한다.