[논문 리뷰] The greedy strategy in optimizing the Perron eigenvalue

Vladimir Yu. Protasov, Aleksandar Cvetković|arXiv (Cornell University)|2018. 07. 13.

Probabilistic and Robust Engineering Design참고 문헌 19인용 수 6

한 줄 요약

이 논문은 비음성 행렬의 곱셈 가족(포함된 희소 행렬 포함)에서 페론 고유값(스펙트럼 반지름)을 최적화하기 위한 강건한 알고리즘인 선택적 그레디언트 방법을 소개한다. 표준 그레디언트 방법과 달리, 이는 종종 희소 행렬에서 순환하거나 실패하지만, 선택적 그레디언트 방법은 내적 차이에 대한 허용 오차 기준을 도입함으로써 수렴을 보장하며, 이차 수렴 속도를 달성하고, 몇 번의 반복만으로도 차원 2000에 이르는 대규모 문제를 효율적으로 해결한다.

ABSTRACT

We address the problems of minimizing and of maximizing the spectral radius overa compact family of non-negative matrices. Those problems being hard in generalcan be efficiently solved for some special families. We consider the so-called prod-uct families, where each matrix is composed of rows chosen independently from givensets. A recently introduced greedy method works very fast. However, it is applicablemostly for strictly positive matrices. For sparse matrices, it often diverges and gives awrong answer. We present the "selective greedy method" thatworks equally well forall non-negative product families, including sparse ones.For this method, we provea quadratic rate of convergence and demonstrate its efficiency in numerical examples.The numerical examples are realised for two cases: finite uncertainty sets and poly-hedral uncertainty sets given by systems of linear inequalities. In dimensions up to 2000, the matrices with minimal/maximal spectral radii in product families are foundwithin a few iterations. Applications to dynamical systemsand to the graph theoryare considered

연구 동기 및 목표

• 표준 그레디언트 방법이 수치적 불안정성으로 인해 희소 비음성 행렬에서 자주 실패하거나 순환하는 데 기인한 한계를 해결한다.
• 희소성을 포함한 비음성 행렬의 곱셈 가족에서 스펙트럼 반지름의 최소화 및 최대화를 위한 신뢰할 수 있는 최적화 알고리즘을 개발한다.
• 그레디언트 선택 규칙에 허용 오차 기준을 도입하여, 조밀한 행렬과 희소 행렬 모두에서 수렴성과 정확성을 보장한다.
• 이론적으로 수렴 속도를 정당화하고, 유한 및 다면체 불확실성 집합에 대한 수치 실험을 통해 실용적 검증을 수행한다.
• 안정적이고 효율적인 스펙트럼 반지름 최적화 알고리즘을 제공함으로써, 동적 시스템, 그래프 이론, 마르코프 결정 과정 등에의 적용 가능성을 확장한다.

제안 방법

• 현재 주요 고유벡터와의 내적을 기반으로 각 불확실성 집합에서 최적의 행을 선택하는 수정된 그레디언트 알고리즘을 제안한다.
• 내적이 수치적으로 유사할 경우 불필요한 행 교체를 방지하기 위해 허용 오차 파라미터 δ를 도입한다.
• 업데이트 규칙 정의: 새로운 후보가 내적을 최대화하고, 내적 차이가 δ를 초과할 경우에만 행을 교체한다.
• 매 반복에서 힘의 방법을 적용하여 주요 고유벡터를 계산함으로써, 주요 고유값과 고유벡터로의 수렴을 보장한다.
• 불가약한 성분으로 문제를 분해함으로써, 가역적인 가족을 다루기 위해 프로베니우스 분해를 사용한다.
• 고정밀도 계산에서의 안정성을 향상하기 위해 수치적 연속성 및 반올림 전략을 구현한다.

실험 결과

연구 질문

• RQ1 표준 구현이 순환으로 인해 실패하는 희소 비음성 행렬에 대해 그레디언트 방법을 어떻게 강건하게 만들 수 있는가?
• RQ2 수치적 부정확성과 유사한 내적 값이 존재하는 상황에서, 어떤 수정이 그레디언트 선택 규칙의 수렴을 보장하는가?
• RQ3 제안된 방법이 조밀한 행렬과 희소 행렬 모두에서 빠른 수렴 속도, 특히 이차 수렴 속도를 유지하는가?
• RQ4 몇 번의 반복 내에 대규모 스펙트럼 반지름 최적화 문제(예: 차원 2000 이하)를 효과적으로 해결할 수 있는가?
• RQ5 동적 시스템, 그래프 이론, 마르코프 결정 과정 등 실제 문제에 대해 수렴이 보장되는 신뢰성 있는 방법으로 적용 가능한가?

주요 결과

• 선택적 그레디언트 방법은 표준 그레디언트 방법이 실패하는 3×3 반례에서 순환을 효과적으로 방지함을 입증하였다.
• 이론적으로 정당화되고 논문의 실험을 통해 확인된 바, 이 방법은 이차 수렴 속도를 달성한다.
• 차원 2000 이하의 행렬에 대해, 알고리즘은 높은 정밀도로 단 3~4회의 반복만으로 최소 및 최대 스펙트럼 반지름을 계산한다.
• 내적 차이에 대한 허용 오차 기준 δ의 도입은 부동소수점 오류로 인한 오염된 행 갱신을 효과적으로 방지한다.
• 특히 불가약한 가족에 대해 프로베니우스 분해를 결합할 경우, 주요 고유벡터에 0 성분이 포함되어 있어도 방법이 효과를 유지한다.
• 유한 및 다면체 불확실성 집합에 대한 수치 결과는 다양한 문제 유형에서 방법의 강건성과 효율성을 확인한다.