[論文レビュー] lo-fi: distributed fine-tuning without communication

Mitchell Wortsman, Suchin Gururangan+5 more|arXiv (Cornell University)|Oct 19, 2022

Advanced Neural Network Applications被引用数 7

ひとこと要約

この論文は、トレーニング中にノード間の通信を一切行わない大規模ニューラルネットワークの分散微調整のための方法、lo-fiを提案する。各ノードは自身のデータパーティション上で独立してモデルを微調整し、トレーニング後、重みを平均することで最終モデルを構築する。lo-fiはImageNetおよび分布シフトベンチマークでベースラインと同等またはそれを上回る精度を達成し、通信オーバーヘッドを排除する。

ABSTRACT

When fine-tuning large neural networks, it is common to use multiple nodes and to communicate gradients at each optimization step. By contrast, we investigate completely local fine-tuning, which we refer to as lo-fi. During lo-fi, each node is fine-tuned independently without any communication. Then, the weights are averaged across nodes at the conclusion of fine-tuning. When fine-tuning DeiT-base and DeiT-large on ImageNet, this procedure matches accuracy in-distribution and improves accuracy under distribution shift compared to the baseline, which observes the same amount of data but communicates gradients at each step. We also observe that lo-fi matches the baseline's performance when fine-tuning OPT language models (up to 1.3B parameters) on Common Crawl. By removing the communication requirement, lo-fi reduces resource barriers for fine-tuning large models and enables fine-tuning in settings with prohibitive communication cost.

研究の動機と目的

• 大規模事前学習済みモデルの分散微調整において、ノード間の通信が必須であるかどうかを調査すること。
• ノード間通信を排除することで、大規模モデルの微調整におけるリソースおよびインfraストラクチャの障壁を低減すること。
• 微調整後に独立して学習されたモデルを平均することで得られる性能が、勾配同期を伴う標準的なデータ並列微調整と同等またはそれを上回るかどうかを評価すること。
• 通信コストが高く、プライバシー制約がある環境において、分散型で通信量を抑えた微調整が実現可能かどうかを検討すること。

提案手法

• 各ノードは、勾配の交換や同期を一切行わず、自身のデータパーティション上で完全な微調整を独立して実行する。
• トレーニング後、すべてのノードの重みを平均して最終モデルを構築する：θ_lo-fi = (1/n) Σ θ^k。
• ベースラインと同一のハイパーパrameterと総データ量を用い、通信パターンのみを変更する。
• 標準的な最適化手法（重み減衰と確率的深さ）を用いて微調整を実施し、視覚（DeiT）および自然言語（OPT）モデルに本手法を適用する。
• ロバストネスを評価するために、ImageNetおよび分布シフトベンチマーク（IN-V2、IN-R、Sketch、IN-A）で評価を行う。
• 勾配を各ステップで同期するベースラインと比較し、最適なパフォーマンスを得られるようハイパーパrameterを調整する。

実験結果

リサーチクエスチョン

• RQ1 ノード間の通信を一切行わず、モデルの精度を維持または向上させた分散微調整が可能か？
• RQ2 微調整後に独立して学習されたモデルを平均することで、勾配同期を伴う標準的なデータ並列微調整と同等の性能が得られるか？
• RQ3 通信コストが高い状況下で、lo-fiはベースラインと比較してどのように性能を発揮するか、特に分布シフトに対して。
• RQ4 どのような状況でlo-fiはベースラインを上回るか、または同等の性能を発揮するか、特にデータ効率性およびモデルスケールの観点から。

主な発見

• DeiT-baseを用いたImageNetでは、lo-fiが86.00%のトップ-1精度を達成し、ベースラインの85.96%と同等の性能を示し、通信を完全に排除した。
• 分布シフトベンチマークでは、lo-fiがベースラインを上回る：DeiT-baseではIN-V2で+1.51%、Sketchで+1.19%、IN-Aで+1.38%の向上を示した。
• DeiT-largeでは、ImageNetで87.10%の精度を達成し、ベースラインの87.12%と同等であり、IN-R（+0.07%）およびIN-A（+0.56%）でも上回った。
• lo-fiは通信なしでOPT言語モデル（最大1.3Bパラメータ）に対しても性能を維持し、Common Crawlでのベースライン精度と同等を達成した。
• 通信コストをゼロに抑えることで、通信オーバーヘッドが著しく高い環境やプライバシー制約のある環境でも微調整が可能になった。
• 新しいパラメータが追加されない状況でlo-fiは最も高い性能を発揮する。追加パラメータがあると性能が低下し、ベースラインと同等の性能を得るにはより多くのデータが必要になる。