[论文解读] Beyond spectral gap: The role of the topology in decentralized learning

Thijs Vogels, Hadrien Hendrikx+1 more|arXiv (Cornell University)|Jun 7, 2022

Stochastic Gradient Optimization Techniques被引用 15

一句话总结

本文通過證明圖拓撲（不僅僅是譜間隔）在i.i.d.設定下對收斂速度有決定性影響，重新思考了去中心化學習。提出「有效鄰居數」作為拓撲指標，可預測性能，解釋了為何環狀拓撲在譜間隔較差的情況下仍優於星型拓撲，並證明稀疏平均可從起始階段減少方差，從而允許使用更大的學習率。

ABSTRACT

In data-parallel optimization of machine learning models, workers collaborate to improve their estimates of the model: more accurate gradients allow them to use larger learning rates and optimize faster. We consider the setting in which all workers sample from the same dataset, and communicate over a sparse graph (decentralized). In this setting, current theory fails to capture important aspects of real-world behavior. First, the 'spectral gap' of the communication graph is not predictive of its empirical performance in (deep) learning. Second, current theory does not explain that collaboration enables larger learning rates than training alone. In fact, it prescribes smaller learning rates, which further decrease as graphs become larger, failing to explain convergence in infinite graphs. This paper aims to paint an accurate picture of sparsely-connected distributed optimization when workers share the same data distribution. We quantify how the graph topology influences convergence in a quadratic toy problem and provide theoretical results for general smooth and (strongly) convex objectives. Our theory matches empirical observations in deep learning, and accurately describes the relative merits of different graph topologies.

研究动机与目标

• 解釋為何在i.i.d.資料下，去中心化訓練的收斂速度比理論預測更快，特別是在大規模或稀疏圖中。
• 識別為何基於譜間隔的現有理論無法預測深度學習與凸優化中的實際表現。
• 建立新的理論框架，以捕捉拓撲如何影響方差減少與最大允許學習率。
• 提出並驗證一個新指標——「有效鄰居數」——用於預測不同拓撲與問題規模下的圖性能。
• 展示稀疏平均如何從訓練初期即減少梯度方差，進而允許使用更大的學習率並實現更快收斂。

提出的方法

• 分析一個二次型小模型，以量化不同圖拓撲對方差減少與學習率限制的影響。
• 提出帶有衰減參數γ的隨機漫步模型，用於估計圖中「有效鄰居數」。
• 推導出依賴圖拉普拉斯矩陣完整特徵值譜（而非僅譜間隔）的光滑與（強）凸目標的收斂界。
• 使用模型參數的指數移動平均（EMA）來降低評估中的雜訊，並對損失曲線擬合參數化衰減模型。
• 透過最小化模型檢查點所測得與預測的協方差矩陣之間的MSE，獨立地為每種拓撲校準γ。
• 在CIFAR-10與Fashion-MNIST上驗證框架，使用針對每種拓撲最佳化調整的學習率。

实验结果

研究问题

• RQ1 為何環狀拓撲在譜間隔較差的情況下，仍優於星型拓撲？
• RQ2 在大規模或無限圖中，為何去中心化學習在i.i.d.資料下能比理論預測更快收斂？
• RQ3 除了譜間隔之外，哪種拓撲指標能準確預測去中心化優化中通訊圖的性能？
• RQ4 稀疏平均在多大程度上能從訓練初期即減少梯度方差，從而允許使用更大的學習率？
• RQ5 單一、與問題無關的指標（如「有效鄰居數」）是否能預測跨多種拓撲的相對性能？

主要发现

• 隨著環的規模增加，可使用更大的學習率並實現更快收斂，這與譜間隔理論預測的性能下降相反。
• 星型拓撲雖有較佳的譜間隔（0.0156），但性能較差，且對學習率的限制比環更嚴苛（譜間隔為0.0032）。
• 「有效鄰居數」指標（基於帶衰減參數γ的隨機漫步模型）在所有測試拓撲中，比譜間隔更準確地解釋了實際性能。
• 在凸優化與深度學習設定中，稀疏平均從訓練初期即減少梯度方差，從而允許使用遠大於單獨訓練的學習率。
• 該框架能準確預測相對性能：當γ在不同拓撲間共享時，含2至32個工作節點的完全連接圖與「有效鄰居數」指標高度吻合。
• 擬合的γ參數與觀測到的方差減少強烈相關；若γ值過高或過低，將嚴重降低模型的預測能力。