[논문 리뷰] Beneath the valley of the noncommutative arithmetic-geometric mean inequality: conjectures, case-studies, and consequences

Benjamin Recht, Christopher Ré|arXiv (Cornell University)|2012. 02. 19.

Mathematical Inequalities and Applications참고 문헌 32인용 수 39

한 줄 요약

이 논문은 무작위 최적화 알고리즘에서 복원 추출이 복원 추출보다 성능이 뛰어나기 때문에 자주 발생하는 현상을 분석하며, 양의 준정적 행렬에 대한 비가환 산술-기하 평균 부등식을 제안한다. 이 부등식은 가환 행렬과 두 행렬의 경우에 대해 증명되며, 동일하게 분포된 임의의 행렬에 대해서는 기대값을 통해 검증되며, 이 조건 하에서 확률적 경사 하강법과 무작위 카츠마르츠 방법의 수렴 속도가 빨라짐을 보여준다.

ABSTRACT

Randomized algorithms that base iteration-level decisions on samples from some pool are ubiquitous in machine learning and optimization. Examples include stochastic gradient descent and randomized coordinate descent. This paper makes progress at theoretically evaluating the difference in performance between sampling with- and without-replacement in such algorithms. Focusing on least means squares optimization, we formulate a noncommutative arithmetic-geometric mean inequality that would prove that the expected convergence rate of without-replacement sampling is faster than that of with-replacement sampling. We demonstrate that this inequality holds for many classes of random matrices and for some pathological examples as well. We provide a deterministic worst-case bound on the gap between the discrepancy between the two sampling models, and explore some of the impediments to proving this inequality in full generality. We detail the consequences of this inequality for stochastic gradient descent and the randomized Kaczmarz algorithm for solving linear systems.

연구 동기 및 목표

• 무작위 최적화에서 복원 추출의 경험적 성공과 이론적 분석 사이의 격차를 메우기 위해.
• 복원 추출 방법에서 더 빠른 수렴을 위한 이론적 기반으로 비가환 산술-기하 평균 부등식을 확립하기 위해.
• 최소 제곱법과 선형 시스템 해법에서 복원 및 복원이 없는 추출 간의 성능 차이를 분석하기 위해.
• 특정 행렬 클래스, 특히 동일하게 분포된 임의의 행렬과 가환 행렬에 대해 비가환 AGM 부등식을 검증하기 위해.
• 비선형 및 일반적인 무작위 알고리즘으로 결과를 확장하기 위한 열린 추측과 연구 방향을 규명하기 위해.

제안 방법

• 양의 준정적 행렬의 대칭 기하 평균과 그 산술 평균을 포함하는 비가환 AGM 부등식을 수립한다.
• 대칭 기하 평균을 행렬 곱의 모든 순열에 대한 평균으로 정의한다: $\bm{M}_G = \frac{1}{n!} \sum_{\sigma \in S_n} \bm{A}_{\sigma(1)} \cdots \bm{A}_{\sigma(n)}$.
• 행렬 노름 비교를 통해 $\|\bm{M}_G\| \leq \|\bm{M}_A\|^n$인지 평가한다. 여기서 $\bm{M}_A = \frac{1}{n}\sum \bm{A}_i$이다.
• 행렬 분석 및 무작위 행렬 이론의 도구를 활용하여 두 행렬과 가환 가중치 집합에 대해 부등식을 증명한다.
• 동일하게 분포된 임의의 행렬에 대해 기대값을 통해 부등식을 수치적으로 검증한다. 이 행렬들은 동일하게 분포된 서브가우시안 요소를 가진다.
• 대칭화 없이도 결정론적 행렬 곱이 $\|\bm{M}_A\|^n$을 지수적 요인으로 초과할 수 있음을 보여, 대칭화의 필요성을 입증한다.

실험 결과

연구 질문

• RQ1 모든 양의 준정적 행렬 튜플에 대해 비가환 산술-기하 평균 부등식이 성립하는가?
• RQ2 대칭 분포에서 추출된 동일하게 분포된 임의의 행렬에 대해 부등식을 증명할 수 있는가?
• RQ3 대칭 기하 평균이 항상 산술 평균의 $n$제곱 노름으로 제한되는가?
• RQ4 행렬의 구조(예: 프레임, 가환 행렬)가 부등식의 타당성에 어떤 영향을 미치는가?
• RQ5 비선형 또는 비볼록 최적화 설정으로 부등식을 확장할 수 있는가?

주요 결과

• 두 개의 양의 준정적 행렬에 대해서는 행렬 노름 부등식을 통해 증명된 바, 비가환 AGM 부등식이 성립한다.
• 모든 행렬이 가환할 경우, 동시에 대각화 가능성이 있고 고전적 AGM 부등식에 의해 부등식이 성립한다.
• 동일하게 분포된 임의의 행렬에 대해 기대값을 통해 부등식이 성립함을 보여, 기계 학습 응용에서의 유용성을 뒷받침한다.
• 대칭화 없이도 결정론적 행렬 곱이 $\|\bm{M}_A\|^n$을 지수적 요인으로 초과할 수 있음을 입증하여, 대칭화가 필수적임을 증명한다.
• 부등식은 복원 추출이 없는 경우에 대해 확률적 경사 하강법과 무작위 카츠마르츠 알고리즘의 수렴 속도 향상을 암시한다.
• 비대칭 제품에 대해 반례가 존재하여, 일반적으로 부등식이 성립하기 위해 대칭화가 반드시 필요함을 확인한다.