[논문 리뷰] ML-ECS: A Collaborative Multimodal Learning Framework for Edge-Cloud Synergies

Yuze Liu, Shibo Chu외 6명|arXiv (Cornell University)|2026. 02. 15.

IoT and Edge/Fog Computing인용 수 0

한 줄 요약

ML-ECS는 서버 기반 모델과 이질적인 에지 모델 간의 멀티모달 데이터 공동 학습을 가능하게 하여 저통신 비용과 모달리티/모델 이질성에 대한 강건성을 갖춘 에지-클라우드 협업을 달성합니다.

ABSTRACT

Edge-cloud synergies provide a promising paradigm for privacy-preserving deployment of foundation models, where lightweight on-device models adapt to domain-specific data and cloud-hosted models coordinate knowledge sharing. However, in real-world edge environments, collaborative multimodal learning is challenged by modality heterogeneity (different modality combinations across domains) and model-structure heterogeneity (different modality-specific encoders/fusion modules. To address these issues, we propose ML-ECS, a collaborative multimodal learning framework that enables joint training between a server-based model and heterogeneous edge models. This framework consists of four components: (1) cross-modal contrastive learning (CCL) to align modality representations in a shared latent space, (2) adaptive multimodal tuning (AMT) to preserve domain-specific knowledge from local datasets, (3) modality-aware model aggregation (MMA) to robustly aggregate while mitigating noise caused by missing modalities, and (4) SLM-enhanced CCL (SE-CCL) to facilitate bidirectional knowledge transfer between cloud and edge. Experimental results on various multimodal tasks show that \pname consistently outperform state-of-the-art baselines under varying modality availability, achieving improvements of 5.44% to 12.08% in Rouge-LSum and improving both client- and server-side performance. In addition, by communicating only low-rank LoRA parameters and fused representations, ML-ECS achieves high communication efficiency, requiring only 0.65% of the total parameter volume.

연구 동기 및 목표

• 연속적인 멀티모달 학습을 통해 에지–클라우드 시너지를 이용한 파운데이션 모델의 프라이버시 보존 배치를 촉진한다.
• 에지 디바이스 전반에 걸친 모달리티 이질성과 모델 구조 이질성을 해결한다.
• 에지 디바이스와 클라우드 간의 강건하고 효율적인 협업 학습을 가능하게 하는 네 가지 구성요소 프레임워크를 제안한다.
• 멀티모달 태스크에서 향상된 성능을 보여주고 통신 효율을 분석한다.

제안 방법

• 공유 잠재 공간에서 모달리티 표현을 정렬하기 위해 교차 모달 대비 학습을 도입한다.
• 지역 데이터로부터 도메인 특화 지식을 보존하기 위해 적응형 멀티모달 튜닝을 구현한다.
• 누락된 모달리티에도 견고하게 업데이트를 융합하기 위한 모달리티 인식 모델 집계를 제안한다.
• 서버와 에지 간 양방향 지식 이전을 위한 SLM-강화 교차 모달 대비 학습을 개발한다.

실험 결과

연구 질문

• RQ1 교차 모달 대비 학습이 에지 디바이스와 클라우드 간의 공유 잠재 공간에서 이질적인 에지 모달리티를 정렬할 수 있는가?
• RQ2 에지–클라우드 협업 과정에서 적응형 멀티모달 튜닝이 지역 도메인 지식을 보존하는가?
• RQ3 모달리티 인식 모델 집계가 누락된 모달리티로 인한 잡음을 줄이고 서버 측 학습을 향상시키는가?
• RQ4 양방향 SE-CCL이 서버 LLM과 에지 SLM 간의 지식 이전을 향상시키면서 통신 효율을 유지하는가?

주요 결과

• ML-ECS는 작업 및 모달리티 가용성 전반에서 기준선들을 지속적으로 능가하며 Rouge-LSum 개선은 5.44%에서 12.08%까지 범위로 나타난다.
• 평균 증가율이 0.72%에서 9.23% 사이로 관찰된 BERTScore 향상.
• UR-FALL의 F1-점수 개선은 전체적으로 2.99%에서 8.18%까지 범위이다.
• 서버 측 성능은 Standalone 및 Co-PLMs에 비해 향상되며 BERTScore 이익은 1.31%에서 4.03%, Rouge-LSum 이익은 1.67%에서 5.19%, F1 이익은 0.65%에서 1.89%이다.
• ML-ECS는 저랭크 LoRA 매개변수와 융합 표현만을 전달하여 총 매개변수 용량의 약 0.65%에 해당하는 높은 통신 효율을 달성한다.
• 특성 제거 실험은 구성요소들이 성능 향상에 기여함을 보여주며, MMA와 SE-CCL이 모달리티 이질성 하에서 강건성을 높인다.