[논문 리뷰] Randomized Iterative Methods with Alternating Projections

Hua Xiang, Lin Zhang|arXiv (Cornell University)|2017. 08. 31.

Advanced Optimization Algorithms Research참고 문헌 12인용 수 11

한 줄 요약

이 논문은 매트릭스 적분을 통한 교호 투영을 활용하여 16개의 랜덤화된 반복 방법, 예를 들어 카츠카르츠와 좌표 강하를 포함하여 통합된 프레임워크를 제시한다. 양의 정부호 성질이 필요하지 않은 일반 조건 하에서 수렴성을 확립하고, 블록 및 가우시안 샘플링 전략을 통한 수치적 검증을 통해 더 빠른 수렴을 보여준다.

ABSTRACT

We use a unified framework to summarize sixteen randomized iterative methods including Kaczmarz method, coordinate descent method, etc. Some new iterative schemes are given as well. Some relationships with extsc{mg} and extsc{ddm} are also discussed. We analyze the convergence properties of the iterative schemes by using the matrix integrals associated with alternating projectors, and demonstrate the convergence behaviors of the randomized iterative methods by numerical examples.

연구 동기 및 목표

• 카츠카르츠와 좌표 강하와 같은 다양한 랜덤화된 반복 방법을 하나의 이론적 프레임워크로 통합하는 것.
• 계수 행렬의 양의 정부호 성질을 가정하지 않고, 교호 투영과 연관된 매트릭스 적분을 사용하여 이러한 방법의 수렴성을 분석하는 것.
• 기존 방법들인 mg 및 ddm과 관련된 새로운 반복 체계를 유도하는 것.
• 이중 샘플링 전략(이산적, 가우시안)을 비교하는 수치 예제를 통해 프레임워크의 효과성을 입증하는 것.

제안 방법

• 프레임워크는 $Y \in \mathbb{R}^{m \times l}$ 및 $Z \in \mathbb{R}^{n \times l}$ 두 개의 전치-열-랭크 행렬을 사용하며, $l \ll \min\{m,n\}$ 이다. 이는 일반화된 반복 체계 $x^{k+1} = x^k + \Xi(b - Ax^k)$ 를 정의한다. 여기서 $\Xi = Z(Y^T A Z)^\dagger Y^T$ 이다.
• 반복 행렬 $T = I - \Xi A$ 는 프로젝터임을 보이며, 비정적 교호 투영 하에서 오차 전파 $e^{k+1} = T_k \cdots T_0 e^0$ 를 통해 수렴성을 분석한다.
• 세 가지 유형의 체계가 정의된다: 유형-k(행 동작, 예: 카츠카르츠), 유형-c(열 동작, 예: 좌표 강하), 유형-s(대칭 케이스), $Y$ 또는 $Z$ 를 선택하여 기존 방법을 복원한다.
• 스케칭 및 최적화 관점에서 접근: 유형에 따라 $x^{k+1}$ 는 $Y^T A x = Y^T b$ 를 만족시키며 $\|x - x^k\|_{G^{-1}}$ 를 최소화하거나, $x = x^k + Z y$ 를 만족시키며 $\|x - x^*\|_{\widehat{G}}$ 를 최소화한다.
• 양의 정부호 성질을 가정하지 않고 매트릭스 적분을 사용하여 수렴성을 증명하였으며, 이는 이전 결과를 확장한다.
• 수치 실험에서는 이산적 샘플링(무작위로 다시 배치하지 않은 균일 샘플링)과 가우시안 샘플링(표준 정규 분포의 원소)을 비교하였으며, 테스트 행렬 생성에 MATLAB의 희박 랜덤 생성기 사용.

실험 결과

연구 질문

• RQ1 카츠카르츠와 좌표 강하와 같은 다양한 랜덤화된 반복 방법을 통합할 수 있는 프레임워크를 수립할 수 있는가?
• RQ2 교호 투영과 매트릭스 적분은 계수 행렬의 양의 정부호 성질을 요구하지 않고도 수렴성을 증명하는 데 어떻게 기여하는가?
• RQ3 샘플링 전략(이산 균일 vs. 가우시안)이 수렴 속도와 계산 시간에 미치는 영향은 무엇인가?
• RQ4 블록 변형은 단일 샘플 버전에 비해 반복 횟수와 월클럭 시간 측면에서 어떻게 비교되는가?
• RQ5 이 프레임워크 내에서 새로운 반복 체계를 도출할 수 있으며, 기존 방법들인 mg 및 ddm과의 관계는 어떠한가?

주요 결과

• 블록 변형(K3–K4, C3–C4)은 단일 샘플 체계보다 훨씬 적은 반복 횟수를 필요로 하며, MATLAB 내 최적화된 행렬-행렬 연산과 선형 해법기구 덕분에 단위 단계 비용이 더 높음에도 불구하고 효율적이다.
• 랜덤 행렬에 대해 이산적 샘플링(K1, C1)에 비해 가우시안 샘플링(K2, C2)이 반복 횟수 측면에서 더 빠른 수렴을 보였지만, 단위 단계 비용이 더 높았다.
• 희박한 비대칭 시스템(sprandn)의 경우, 가우시안 샘플링(K2, C2)이 이산적 샘플링보다 더 많은 반복 횟수와 시간을 소모하여 행렬의 구조에 민감함을 보였다.
• 대칭 양의 정부호 시스템(sprandsym)의 경우, 가우시안 샘플링(S2)이 이산적 샘플링(S1)을 능가했으며, 블록 변형(S3–S4)은 단일 샘플 변형보다 빠르게 작동했다.
• 프레임워크는 기존 방법들(예: 카츠카르츠, 좌표 강하)을 성공적으로 복원하였고, 새로운 세 가지 체계를 도출하여 광범위한 적용 가능성을 입증하였다.
• 양의 정부호 성질을 요구하지 않는 일반적인 가정(예: 전치-열-랭크) 하에서 수렴성이 증명되었으며, 이는 이전 이론적 결과의 적용 범위를 넓혔다.