[논문 리뷰] Stochastic Gradient Descent-like relaxation is equivalent to Metropolis dynamics in discrete optimization and inference problems

Maria Chiara Angelini, Angelo Giorgio Cavaliere외 2명|arXiv (Cornell University)|2023. 09. 11.

Stochastic Gradient Optimization TechniquesComputer Science참고 문헌 52인용 수 3

한 줄 요약

이 논문은 이산 최적화 및 추론 문제에서 확률적 경사 하강법(SGD)-유사한 완화와 글라우버 역동성(메트로폴리스 몬테카를로) 사이의 정량적 동치성을 확립한다. SGD는 세부 균형을 위반하지만, 미니배치 크기가 메트로폴리스 샘플링의 온도에 대응할 경우 두 알고리즘은 동일한 역동성을 보이며, 이는 몬테카를로 이론을 활용해 어려운 추론 작업에서 신호 복구를 향상시키기 위해 SGD의 미니배치 크기를 최적화하는 데 기여한다.

ABSTRACT

Is Stochastic Gradient Descent (SGD) substantially different from Metropolis Monte Carlo dynamics? This is a fundamental question at the time of understanding the most used training algorithm in the field of Machine Learning, but it received no answer until now. Here we show that in discrete optimization and inference problems, the dynamics of an SGD-like algorithm resemble very closely that of Metropolis Monte Carlo with a properly chosen temperature, which depends on the mini-batch size. This quantitative matching holds both at equilibrium and in the out-of-equilibrium regime, despite the two algorithms having fundamental differences (e.g.\ SGD does not satisfy detailed balance). Such equivalence allows us to use results about performances and limits of Monte Carlo algorithms to optimize the mini-batch size in the SGD-like algorithm and make it efficient at recovering the signal in hard inference problems.

연구 동기 및 목표

• SGD가 이산 최적화 및 추론 문제에서 메트로폴리스 몬테카를로 역동성과 본질적으로 다를지 여부에 대한 근본적인 열린 질문을 해결하기 위해.
• SGD의 미니배치 크기와 메트로폴리스 역동성의 온도 사이에 정량적 매핑을 수립하기 위해, 비록 SGD가 세부 균형을 위반하더라도 말이다.
• 마르코프 체인 몬테카를로(MCMC) 및 통계역학의 강력한 이론적 프레임워크를 활용해 어려운 추론 문제에서 SGD 성능을 분석하고 최적화하기 위해.
• 이산 문제에서 SGD-유사 알고리즘과 글라우버 역동성의 역동성이 평형 및 비평형 영역 모두에서 구별 불가능하게 동일하다는 것을 보여주기 위해.
• SGD의 성공에 물리적 해석을 제공하기 위해, 그 확률적 성격이 미니배치 크기를 통해 온도 유사 제어와 연결됨을 밝혀내기 위해.

제안 방법

• 연속적인 SGD와 유사하지만 다를 바 있는 새로운 이산 문제 전용 SGD-유사 알고리즘을 제안하며, 글라우버 역동성의 확률적 성격을 모방하도록 설계한다.
• SGD의 미니배치 크기 B와 메트로폴리스 역동성의 온도 T 사이의 매핑을 정의하여, 두 알고리즘이 동일한 평형 및 비평형 행동을 보이도록 한다.
• 무작위 그래프에서 식별된 5색칠 문제에 대한 수치 시뮬레이션을 통해 두 알고리즘의 핵형성 시간, 에너지 완화 및 상전이를 비교한다.
• 비틀림-소산 관계와 동적 평균장 이론을 적용하여 SGD에 대한 효과적 온도를 유도하며, 이를 미니배치 크기와 학습률과 연결한다.
• SGD에서의 세부 균형 위반을 분석하고, 이로 인한 근본적 차이에도 불구하고 효과적 온도 매핑이 여전히 강건함을 보여준다.
• 접속성 c를 log(N)으로 스케일링하여 신호 복구의 임계 임계점 c_GD(N) ≈ A log(N)을 특정하며, 열역학적 극한에서의 발산을 보여준다.

Figure 1: Intensive energy reached by the SGD-like algorithm with three different values of $B$ as a function of time, for a single system of size $N=10^{4}$ and mean connectivity $c=19$ . For $B=0.86$ the algorithm ends in a paramagnetic state, for $B=0.95$ it ends in some spurious glassy states, w

실험 결과

연구 질문

• RQ1 SGD-유사한 완화와 글라우버 역동성 간에 이산 최적화 및 추론 문제에서 본질적인 차이가 존재하는가?
• RQ2 SGD의 미니배치 크기를 메트로폴리스 몬테카를로의 온도 매개변수로 매핑할 수 있는가? 이 경우 두 알고리즘이 동일한 역동성을 보이는가?
• RQ3 SGD에서 세부 균형이 위반됨으로써 메트로폴리스 역동성과 동일한 통계적 행동를 달성할 수 없는가?
• RQ4 SGD-유사 알고리즘이 식별된 해를 복구하지 못하는 임계 접속성 c_GD(N)은 무엇이며, 이는 시스템 크기 N에 따라 어떻게 스케일링되는가?
• RQ5 예를 들어 상전이와 완화 시간과 같은 몬테카를로 이론의 결과들을 활용해, 어려운 추론 작업에서 SGD의 미니배치 크기를 최적화할 수 있는가?

주요 결과

• SGD-유사한 완화와 글라우버 역동성의 역동성은 세부 균형을 위반함에도 불구하고 평형 및 비평형 영역 모두에서 정량적으로 동치이다.
• SGD의 미니배치 크기 B는 메트로폴리스 역동성의 온도 T에 대응되며, 이로 인해 두 알고리즘이 동일한 핵형성 시간 분포와 플랫폼 에너지를 보인다.
• 식별된 5색칠 문제에서 신호 복구의 임계 접속성 c_GD(N)은 시스템 크기 N에 대해 로그적으로 스케일링되며, 즉 c_GD(N) ≈ A log(N)이며 A = O(1)이며 열역학적 극한에서 발산한다.
• c < 18인 경우 추론 작업은 불가능해지며, 두 알고리즘 모두 무작위 인스턴스에 대해 최적화를 수행하며, 온도/B에 따라 반자성 또는 유리 상태에 들어간다.
• 비틀림-소산 관계를 통해 유도된 SGD의 효과적 온도는 미니배치 크기와 학습률에 따라 달라지며, SGD에서 관찰된 비정규 분포 노이즈 및 가능한 Lévy 비행을 설명한다.
• 관측된 T(B) 관계의 c-의존성은 접속도 증가에 따라 가능한 스핀 구성 s와 u의 수가 증가함에 따라 발생하며, 이는 B와 T 사이의 평균 매핑을 약간 변화시킨다.

Figure 2: Average energy $\overline{e}$ mediated over 280 samples for three different sizes $N=10^{3},10^{4},10^{5}$ (from left to right), for MC and SGD-like algorithms. Left : In MC at a temperature $T=0.49$ and SGD-like algorithm with a mini-batch parameter $B=0.92$ the energy relaxes in a very s