[논문 리뷰] Optimal rates of convergence of matrices with applications

Heinz H. Bauschke, Yunier Bello-Cruz외 3명|arXiv (Cornell University)|2014. 07. 02.

Matrix Theory and Algorithms참고 문헌 24인용 수 10

한 줄 요약

이 논문은 행렬 거듭제곱이 최적의 비율로 선형 수렴하는 조건을 완전히 규명하며, 최적 수렴이 정확히 두 번째로 큰 모듈러스를 가진 모든 고유값이 반단순(semi-simple)일 때 발생함을 보여준다. 결과는 부분적 완화된 교차 대체 투영법과 일반화된 Douglas-Rachford 방법에 적용되어, 부분적 완화가 가장 빠른 수렴 속도를 제공함을 드러내며, Friedrichs 각도와 중앙 반복 횟수를 사용한 수치 실험으로 확인된다.

ABSTRACT

We present a systematic study on the linear convergence rates of the powers of (real or complex) matrices. We derive a characterization when the optimal convergence rate is attained. This characterization is given in terms of semi-simpleness of all eigenvalues having the second-largest modulus after 1. We also provide applications of our general results to analyze the optimal convergence rates for several relaxed alternating projection methods and the generalized Douglas-Rachford splitting methods for finding the projection on the intersection of two subspaces. Numerical experiments confirm our convergence analysis.

연구 동기 및 목표

• 행렬 거듭제곱이 최적의 선형 수렴 속도로 수렴하기 위한 필요 및 충분 조건을 규명하기 위해.
• 하위공간에 대한 투영을 위한 완화된 교차 대체 투영법과 일반화된 Douglas-Rachford 방법의 수렴 행동을 분석하기 위해.
• 실제로 가장 빠른 수렴 속도를 달성하는 알고리즘 변종을 특정하기 위해.
• 반복적 투영 방법에서 행렬의 스펙트럼 성질과 수렴 속도 사이의 이론적 기반을 제공하기 위해.

제안 방법

• 두 번째로 큰 모듈러스를 가진 고유값의 반단순성에 기반한 최적 수렴 속도의 특성화를 유도한다.
• 스펙트럼 반경 공식과 행렬 노름 분석을 사용하여 수렴 속도를 근사한다.
• 이론을 두 하위공간에 대한 완화된 교차 대체 투영법과 일반화된 Douglas-Rachford 방법에 적용한다.
• 교차 대체 투영법에서 수렴 속도를 향상시키기 위해 비선형 가속 지도를 도입한다.
• 수렴 행동을 정량화하기 위해 하위공간 간의 Friedrichs 각도와 주각도를 기하학적 매개변수로 사용한다.
• Julia와 Gnuplot을 사용하여 다양한 각도에서 메서드 간 반복 횟수를 비교하기 위해 수치 실험을 수행한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 행렬의 거듭제곱이 최적의 비율로 선형 수렴하는가?
• RQ2 지배적 고유값 이외의 고유값의 반단순성은 반복적 투영 방법의 수렴 속도에 어떻게 영향을 미치는가?
• RQ3 완화된 교차 대체 투영법 또는 일반화된 Douglas-Rachford 방법의 어떤 변종이 가장 빠른 수렴을 달성하는가?
• RQ4 Friedrichs 각도는 이러한 방법의 수렴 속도를 결정하는 데 어떤 역할을 하는가?
• RQ5 교차 대체 투영법에서 수렴을 가속화하기 위한 비선형 지도를 설계할 수 있는가?

주요 결과

• 행렬 거듭제곱의 최적 선형 수렴 속도는 두 번째로 큰 모듈러스를 가진 모든 고유값이 반단순일 때에만 달성된다.
• 부분적 완화된 교차 대체 투영법과 그 비선형 변종은 연구된 메서드들 중에서 가장 작은 수렴 속도를 보인다.
• 수치 결과에 따르면, Friedrichs 각도가 0.02를 초과할 경우 $ B_T $ 가 가장 빠른 메서드이며, 매우 작은 각도에서는 DR 이 최고의 성능를 보인다.
• $ W_1 $ 에서 $ B_T $ 의 중앙 반복 횟수는 1139이며, MAP의 4058.5보다 현저히 낮아 뛰어난 성능을 보인다.
• $ B_T $ 의 평균 반복 횟수는 모든 범주에서 6002.5이지만, 표준편차가 19437.1로 매우 높아 성능이 변동성이 크다는 것을 나타낸다.
• 일반화된 Douglas-Rachford 방법(DR)은 모든 범주에서 MAP를 능가하며, $ W_1 $ 에서의 평균 반복 횟수는 1395.2로, MAP의 12683보다 낮다.