[논문 리뷰] A convergent hierarchy of non-linear eigenproblems to compute the joint spectral radius of nonnegative matrices

Stéphane Gaubert, Nikolas Stott|arXiv (Cornell University)|2018. 05. 08.

Advanced Optimization Algorithms Research인용 수 12

한 줄 요약

이 논문은 비음성 행렬의 공동 스펙트럴 반경(JSR)을 계산하기 위해 수렴하는 비선형 고유값 문제의 계층을 제안한다. 이는 프로젝티브 크라소노슬스키-만 반복을 활용하여 고유값 문제를 효율적으로 해결한다. 이 방법은 진짜 JSR로 수렴하는 상한을 제공하며, 매트릭스 차원에 거의 의존하지 않고 크기가 5000에 이르는 큰 매트릭스에 대해서도 확장 가능하게 한다. 이는 이전의 SDP 기반 접근법보다 뛰어나다.

ABSTRACT

We show that the joint spectral radius of a finite collection of nonnegative matrices can be bounded by the eigenvalue of a non-linear operator. This eigenvalue coincides with the ergodic constant of a risk-sensitive control problem, or of an entropy game, in which the state space consists of all switching sequences of a given length. We show that, by increasing this length, we arrive at a convergent approximation scheme to compute the joint spectral radius. The complexity of this method is exponential in the length of the switching sequences, but it is quite insensitive to the size of the matrices, allowing us to solve very large scale instances (several matrices in dimensions of order 1000 within a minute). An idea of this method is to replace a hierarchy of optimization problems, introduced by Ahmadi, Jungers, Parrilo and Roozbehani, by a hierarchy of nonlinear eigenproblems. To solve the latter eigenproblems, we introduce a projective version of Krasnoselskii-Mann iteration. This method is of independent interest as it applies more generally to the nonlinear eigenproblem for a monotone positively homogeneous map. Here, this method allows for scalability by avoiding the recourse to linear or semidefinite programming techniques.

연구 동기 및 목표

• 비음성 매트릭스의 공동 스펙트럴 반경을 계산하기 위한 확장 가능하고 수렴하는 방법을 개발하여, 격자 기반 및 반정형계획법(SDP)-기반 접근법의 한계를 극복한다.
• 이전의 다각형 또는 SDP 기반 근사 기법을 대체하기 위해 진짜 JSR로 수렴하는 비선형 고유값 문제의 계층을 제안한다.
• 매트릭스 차원과의 복잡도 분리 및 비용이 많이 드는 SDP 해법을 피하기 위해, 큰 매트릭스(예: 1000–5000 크기)에 대해 효율적인 계산을 가능하게 한다.
• 모노톤이고 양의 동차성 있는 동적 프ogramming 연산자와 함께 공동 스펙트럴 반경 계산, 위험 민감한 제어, 엔트로피 게임 간의 연결 고리를 설정한다.
• 특히 모노톤 노름으로 충분한 비음성 매트릭스에 대해 기존 방법의 수치적으로 안정적이고 확장 가능한 대안을 제공한다.

제안 방법

• 이 방법은 깊이 매개변수 d에 따라 매개변수화된 비선형 고유값 문제의 계층을 구성한다. 각 수준 d는 공동 스펙트럴 반경에 대한 상한을 제공한다.
• 각 고유값 문제는 길이 d인 스위칭 시퀀스에 대한 위험 민감한 제어 문제 또는 엔트로피 게임과 관련된 동적 프로그래밍 연산자에서 유도된다.
• 비선형 고유값은 모노톤이고 양의 동차성 있는 사상에 적합한 프로젝티브 크라소노슬스키-만 반복을 통해 계산된다.
• 각 수준의 고유벡터는 모노톤 λ-극대 노름을 인코딩하며, 선형 형식의 상한으로 표현되며, 다각형 근사로 이어진다.
• 선형 또는 반정형계획법에 의존하지 않고, 프로젝티브 거리에서의 반복 고정점 갱신에 기반하여, 로그-볼록성과 비확장성 조건 하에서 수렴을 보장한다.
• 이 방법은 OCaml로 구현되었으며, 정지 기준으로 10−6을 사용하며, 일반적으로 50회 이내에 수렴한다.

실험 결과

연구 질문

• RQ1 비음성 매트릭스의 공동 스펙트럴 반경을 계산하기 위해 수렴하는 비선형 고유값 문제의 계층을 구성할 수 있는가?
• RQ2 프로젝티브 크라소노슬스키-만 반복이 이러한 비선형 고유값 문제를 효율적이고 수렴적으로 해결하는 데에 적합한가?
• RQ3 매트릭스 크기가 크기(예: 1000–5000)에도 불구하고 정확도가 높고 매트릭스 차원에 의존하지 않는 효율적인 계산이 가능한가?
• RQ4 유일한 스펙트럼 최대화 제품과 유일한 주요 고유값을 갖는 가정 하에서 이 계층이 정확한가?
• RQ5 이전의 SDP 또는 다각형 기반 접근법과 비교해 볼 때 이 방법의 확장성과 정확도는 어떠한가?

주요 결과

• 깊이 d가 증가함에 따라 비선형 고유값 문제의 계층이 진짜 공동 스펙트럴 반경으로 수렴하며, 5×5 매트릭스 쌍의 경우 d=7에서 수렴이 관찰되었다.
• 5×5 매트릭스 쌍의 경우, 깊이 d=7에서 정확한 JSR 값 2.0273을 회복하였으며, 상대 오차는 0.0%로 감소하였다.
• 깊이 d에 따라 계산 시간은 지수적으로 증가하지만, 관리 가능하다: 5×5 케이스에서 d=7일 때 0.7초, d=9일 때 1.12초였다.
• 크기가 1000인 매트릭스의 경우, 3분 이내에(JSR 계산, d=3일 때 2.7분) 수행되어 확장 가능성을 입증하였다.
• 크기가 5000인 매트릭스의 경우, 깊이 d=3에서 약 3.3시간이 소요되었으며, 매우 큰 사례에 대해서도 실현 가능함을 보였다.
• 비용이 많이 드는 반정형계획법을 피함으로써, 이전의 SDP 기반 접근법보다 더 빠른 계산이 가능해져 대규모 문제에 대해 뛰어난 성능을 발휘한다.