Skip to main content
QUICK REVIEW

[論文レビュー] Decoupled Split Learning via Auxiliary Loss

Anower Hossen Zihad, Felix Owino|arXiv (Cornell University)|Jan 27, 2026
Domain Adaptation and Few-Shot LearningComputer Science被引用数 0
ひとこと要約

本論文は、カット層に軽量な補助分類器を用いたデカップルド・スプリット学習法を提案し、ローカル補助損失を用いたクライアント側トレーニングを可能にする。クロススプリット逆伝播の必要を排除し、通信量とメモリオーバーヘッドを削減しつつ精度を保つ。

ABSTRACT

Split learning is a distributed training paradigm where a neural network is partitioned between clients and a server, which allows data to remain at the client while only intermediate activations are shared. Traditional split learning relies on end-to-end backpropagation across the client-server split point. This incurs a large communication overhead (i.e., forward activations and backward gradients need to be exchanged every iteration) and significant memory use (for storing activations and gradients). In this paper, we develop a beyond-backpropagation training method for split learning. In this approach, the client and server train their model partitions semi-independently, using local loss signals instead of propagated gradients. In particular, the client's network is augmented with a small auxiliary classifier at the split point to provide a local error signal, while the server trains on the client's transmitted activations using the true loss function. This decoupling removes the need to send backward gradients, which cuts communication costs roughly in half and also reduces memory overhead (as each side only stores local activations for its own backward pass). We evaluate our approach on CIFAR-10 and CIFAR-100. Our experiments show two key results. First, the proposed approach achieves performance on par with standard split learning that uses backpropagation. Second, it significantly reduces communication (of transmitting activations/gradient) by 50% and peak memory usage by up to 58%.

研究の動機と目的

  • スプリット学習における通信とメモリオーバーヘッドの削減を、タスク性能を維持しつつ目指す。
  • 分割点でクライアントとサーバーが局所的な目的を独立して最適化するトレーニング方式を開発する。
  • 切断層に補助分類器を設計し、クライアントに局所的な誤差信号を提供する。
  • デカップルド・スプリット学習(DSL)が、後向き伝播を用いるスプリット学習(CSL)と同等の精度を達成するかを評価する。
  • データセットと分割戦略ごとに通信とメモリの節約を定量化する。

提案手法

  • 切断層に軽量な補助分類器 C_a を付着させ、クライアント上で局所補助損失 L_aux を生成する。
  • クライアント M_b と C_a を L_aux を用いて訓練し、サーバーの勾配は受け取らない(λ は 0 に設定)。
  • サーバーはクライアントからの活性化 z を用いてグローバル損失 L の下で M_t を訓練し、クライアントへ勾配を送信しない。
  • クライアントからサーバーへの順伝搬の活性化 z のみを伝達し、逆伝搬の通信を削減する。
  • サーバーの更新はグローバル損失に基づき行い、クライアントの更新は局所補助損失に依存する。
  • 異なる切断層 L_c を持つ二者間(クライアント-サーバー)スプリットを用い、浅い、中間、深い分割構成を作成する。)

実験結果

リサーチクエスチョン

  • RQ1デカップルド・スプリット学習アプローチは BP ベースのスプリット学習と同等の性能を維持できるか。
  • RQ2デカップルドアプローチは従来のスプリット学習と比べてどれくらいのオーバーヘッド(通信とメモリ)を節約できるか。
  • RQ3切断層が深い/浅いと、精度と効率のトレードオフにどのような影響を与えるか。

主な発見

  • DSL は CIFAR-10 および CIFAR-100 のさまざまな N と L_c 設定で CSL と同等のモデル性能を達成する。
  • 後方伝播の伝送を排除することで、DSL の通信量を最大で 50%削減。
  • L_c が浅い場合(早い切断)において、クライアントのピークメモリ使用量を最大で 58%削減。
  • 補助ネットワークの追加により、1 エポックあたりの訓練時間がやや増加する(主にクライアント側の追加計算による)。
  • 通信の内訳は DSL が前方伝送のみ、CSL が前方・後方の両方を含むため、DSL の総通信量は概ね半減する結果となる。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。