[논문 리뷰] Recht-Ré Noncommutative Arithmetic-Geometric Mean Conjecture is False

Zehua Lai, Lek‐Heng Lim|arXiv (Cornell University)|2020. 06. 02.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 일반적인 $ n $에 대해 Recht–Ré 비가환 산술기하평균 추측을 반증하며, 비가환 Positivstellensatz를 통해 $ n \geq 5 $일 때 부등식이 성립하지 않음을 보여준다. 저자들은 추측을 준선형계획문제로 환원하고, $ n = 5 $일 때 제안된 하한값이 유효하지 않음을 입증함으로써, 무작위 표본 추출에서 보상 없이 추출하는 것이 항상 보상이 있는 추출보다 우월하다는 기본 가정을 반박한다.

ABSTRACT

Stochastic optimization algorithms have become indispensable in modern machine learning. An unresolved foundational question in this area is the difference between with-replacement sampling and without-replacement sampling -- does the latter have superior convergence rate compared to the former? A groundbreaking result of Recht and Ré reduces the problem to a noncommutative analogue of the arithmetic-geometric mean inequality where $n$ positive numbers are replaced by $n$ positive definite matrices. If this inequality holds for all $n$, then without-replacement sampling indeed outperforms with-replacement sampling. The conjectured Recht-Ré inequality has so far only been established for $n = 2$ and a special case of $n = 3$. We will show that the Recht-Ré conjecture is false for general $n$. Our approach relies on the noncommutative Positivstellensatz, which allows us to reduce the conjectured inequality to a semidefinite program and the validity of the conjecture to certain bounds for the optimum values, which we show are false as soon as $n = 5$.

연구 동기 및 목표

• 스토하스틱 최적화에서 보상 없이 추출하는 것이 항상 보상이 있는 추출보다 우월하다는 오랫동안 남아있던 Recht–Ré 추측을 해결하기 위해.
• 특히 행렬가치 표본 추출 전략의 맥락에서, 비가환 산술기하평균 부등식이 모든 $ n $에 대해 성립하는지 여부를 규명하기 위해.
• 랜덤 알고리즘에서 보상 및 보상 없이 추출하는 것을 비교하는 스펙트럴 노름 부등식의 타당성을 평가하기 위해.
• 추측의 정확한 실패 시점을 규명함으로써, 스토하스틱 최적화의 수렴 속도에 대한 이론적 이해를 정교화하기 위해.

제안 방법

• 비가환 Positivstellensatz를 적용하여 행렬 부등식 추측을 준선형계획문제로 변환하기 위해.
• Recht–Ré 부등식의 타당성을 준선형계획문제의 최적값에 대한 경계로 환원하기 위해.
• 결과로 얻어진 최적화 문제의 타당성 분석을 통해 $ n = 5 $에 대한 명시적 반례를 구성하기 위해.
• 소규모 $ m $ 및 $ n $에 대해 제곱합 분해와 대칭적 제약 조건을 사용하여 추측을 검증하기 위해.
• 대수적 항등식과 준정부호성 검증을 통해 추측의 하한값이 실패함을 검증하기 위해.
• 추측된 부등식의 비대칭성 분석을 통해 상한과 하한 성분을 구분하기 위해.

실험 결과

연구 질문

• RQ1 Recht–Ré 비가환 산술기하평균 부등식은 $ n \geq 5 $에 대해 항상 성립하는가?
• RQ2 비가환 Positivstellensatz는 이러한 형태의 행렬 노름 부등식을 검증하거나 반증하는 데 효과적으로 사용될 수 있는가?
• RQ3 Recht–Ré 추측의 하한값은 $ n = 5 $일 때 유효한가, 아니면 너무 엄격한가?
• RQ4 $ n = 5 $에서 실패하더라도 $ m = 4 $일 때 추측은 성립하는가?
• RQ5 행렬 부등식에서 보상 없이 추출하는 항에 대한 올바른 하한값은 무엇인가?

주요 결과

• Recht–Ré 비가환 산술기하평균 추측은 $ n = 5 $일 때 잘못되었으며, 제안된 하한값이 성립하지 않는다.
• 실패의 원인은 추측된 부등식의 하한값이 너무 크기 때문이며, 이로 인해 $ n = 5 $에서 해당 준선형계획문제는 타당해가 존재하지 않는다.
• $ m = 2 $일 때, 저자들은 $ n = 2 $에서 정확한 하한값을 얻는 더 날카운 하한값을 유도하여 원래 추측을 개선했다.
• Recht–Ré 부등식의 상한값은 여전히 타당성이 있으며, 모든 $ m \leq n $에 대해 성립할 것으로 추측된다.
• $(m,n) = (4,4)$ 및 $(4,5)$일 때 추측은 성립하며, 이는 $ m = 4 $일 때 추측이 성립할 수 있음을 시사하지만, 하한값은 $ n = 5 $에서 실패한다.
• 비가환 Positivstellensatz는 행렬 부등식 추측을 준선형계획문제의 타당성 문제로 환원하는 데 강력한 프레임워크를 제공한다.