[論文レビュー] ML-ECS: A Collaborative Multimodal Learning Framework for Edge-Cloud Synergies

Yuze Liu, Shibo Chu+6 more|arXiv (Cornell University)|Feb 15, 2026

IoT and Edge/Fog Computing被引用数 0

ひとこと要約

ML-ECSはサーバーベースのモデルと異種のエッジモデルとの共同トレーニングを実現し、低い通信コストとモダリティ/モデルの異質性に対する頑健性を持つマルチモーダルデータのエッジ–クラウド協調を強力に実現します。

ABSTRACT

Edge-cloud synergies provide a promising paradigm for privacy-preserving deployment of foundation models, where lightweight on-device models adapt to domain-specific data and cloud-hosted models coordinate knowledge sharing. However, in real-world edge environments, collaborative multimodal learning is challenged by modality heterogeneity (different modality combinations across domains) and model-structure heterogeneity (different modality-specific encoders/fusion modules. To address these issues, we propose ML-ECS, a collaborative multimodal learning framework that enables joint training between a server-based model and heterogeneous edge models. This framework consists of four components: (1) cross-modal contrastive learning (CCL) to align modality representations in a shared latent space, (2) adaptive multimodal tuning (AMT) to preserve domain-specific knowledge from local datasets, (3) modality-aware model aggregation (MMA) to robustly aggregate while mitigating noise caused by missing modalities, and (4) SLM-enhanced CCL (SE-CCL) to facilitate bidirectional knowledge transfer between cloud and edge. Experimental results on various multimodal tasks show that \pname consistently outperform state-of-the-art baselines under varying modality availability, achieving improvements of 5.44% to 12.08% in Rouge-LSum and improving both client- and server-side performance. In addition, by communicating only low-rank LoRA parameters and fused representations, ML-ECS achieves high communication efficiency, requiring only 0.65% of the total parameter volume.

研究の動機と目的

• プライバシー保護を重視した基盤モデルのエッジ–クラウド連携による継続的なマルチモーダル学習の動機づけ。
• エッジデバイス間でのモダリティ多様性とモデル構造の異質性への対応。
• エッジデバイスとクラウド間での堅牢かつ効率的な協調学習を可能にする4成分フレームワークの提案。
• マルチモーダルタスクでの性能向上と通信効率の分析。

提案手法

• 共通潜在空間でモダリティ表現を整合させるための跨モーダルコントラスティブ学習の導入。
• ローカルデータからのドメイン特性知識を保持する適応型モーダルチューニングの実装。
• 欠損モダリティを考慮した堅牢な更新統合を実現するモダリティ認識型モデル集合の提案。
• サーバーとエッジ間の知識伝達を bidirectional にするSLM強化跨モーダルコントラスティブ学習の開発。

実験結果

リサーチクエスチョン

• RQ1 跨モーダルコントラスティブ学習は、エッジデバイスとクラウド間で異種エッジモダリティを共通の潜在空間に整合できるか？
• RQ2 適応型モーダルチューニングはエッジ–クラウド協調中にローカルドメイン知識を保持できるか？
• RQ3 モダリティ認識型モデル集合は欠落モダリティからのノイズを低減し、サーバーサイド学習を改善できるか？
• RQ4 双方向SE-CCLはサーバーLLMとエッジSLM間の知識伝達を通信効率を維持しつつ高められるか？

主な発見

• ML-ECSはタスクとモダリティの可用性に対して一貫してベースラインを上回り、Rouge-LSumの改善は5.44%から12.08%の範囲。
• BERTScoreの改善が観察され、平均利益は0.72%から9.23%の範囲。
• UR-FALLでのF1スコアの改善は全体で2.99%から8.18%の範囲。
• サーバーサイドの性能はStandaloneおよびCo-PLMsと比較して向上し、BERTScoreの利益が1.31%から4.03%、Rouge-LSumの利益が1.67%から5.19%、F1の利益が0.65%から1.89%の範囲。
• ML-ECSは高い通信効率を実現し、低ランクのLoRAパラメータと統合表現のみを通信するため総パラメータ量の約0.65%に留まる。
• アブレーションにより、各コンポーネントが性能向上に寄与しており、MMAとSE-CCLがモダリティ異質性下での頑健性を高めることが示された。