[논문 리뷰] Unleashing MLLMs on the Edge: A Unified Framework for Cross-Modal ReID via Adaptive SVD Distillation

Hongbo Jiang, Jie Li외 5명|arXiv (Cornell University)|2026. 02. 13.

Advanced Neural Network Applications인용 수 0

한 줄 요약

한 논문은 MLLMEmbed-ReID를 제시한다, 클라우드-엣지 프레임워크로써 기초 MLLM을 교차모달 ReID를 위한 통합 교사로 적응시키고, 지식을 경량 에지 학생으로 증류하는 새로운 저랭크 기반 증류와 주성분 맵핑 및 특징 관계 손실을 사용한다.

ABSTRACT

Practical cloud-edge deployment of Cross-Modal Re-identification (CM-ReID) faces challenges due to maintaining a fragmented ecosystem of specialized cloud models for diverse modalities. While Multi-Modal Large Language Models (MLLMs) offer strong unification potential, existing approaches fail to adapt them into a single end-to-end backbone and lack effective knowledge distillation strategies for edge deployment. To address these limitations, we propose MLLMEmbed-ReID, a unified framework based on a powerful cloud-edge architecture. First, we adapt a foundational MLLM into a state-of-the-art cloud model. We leverage instruction-based prompting to guide the MLLM in generating a unified embedding space across RGB, infrared, sketch, and text modalities. This model is then trained efficiently with a hierarchical Low-Rank Adaptation finetuning (LoRA-SFT) strategy, optimized under a holistic cross-modal alignment objective. Second, to deploy its knowledge onto an edge-native student, we introduce a novel distillation strategy motivated by the low-rank property in the teacher's feature space. To prioritize essential information, this method employs a Principal Component Mapping loss, while relational structures are preserved via a Feature Relation loss. Our lightweight edge-based model achieves state-of-the-art performance on multiple visual CM-ReID benchmarks, while its cloud-based counterpart excels across all CM-ReID benchmarks. The MLLMEmbed-ReID framework thus presents a complete and effective solution for deploying unified MLLM-level intelligence on resource-constrained devices. The code and models will be open-sourced soon.

연구 동기 및 목표

• 단일 MLLM 백본으로 클라우드-에지 CM-ReID를 촉진하여 단편화된 모달리티별 모델을 대체한다.
• 기초 MLLM을 RGB, IR, 스케치, 텍스트에 대해 통합 임베딩을 출력하는 강력한 클라우드 교사로 적응시킨다.
• 저랭크 특징 공간을 활용하여 지식을 효율적으로 전달하는 엣지 친화적 증류 전략을 개발한다.

제안 방법

• 기초 MLLM(Qwen2-VL)을 지시 기반 프롬프트를 가진 클라우드 교사로 적응시켜 RGB, IR, 스케치, 텍스트 모달리티 간의 통합 임베딩 공간을 생성한다.
• ID 손실, 트리플릿 손실, SDM 등의 전체 모달 간 정렬 목표를 사용하여 계층적 LoRA-SFT로 클라우드 모델을 미세조정한다.
• 교사의 ReID 특징 공간에서 SVD 분석을 통해 저랭크 구조를 관찰한다.
• 주성분 우선 및 특징 관계 보존을 위해 Cosine Matching 손실, Principal Component Mapping 손실(PCM), Feature Relation 손실(FR)을 사용하여 CLIP 기반의 엣지 스튜던트로 증류한다.
• 작업 손실과 증류 손실을 결합하여 엣지 스튜던트를 학습하기 위한 전체 증류 손실을 구성한다.
• Quadruple Cross-Modal ReID(QrCM-ReID) 데이터세트의 세 가지 CM-ReID 태스크에서 클라우드 대 엣지 성능을 평가한다.

실험 결과

연구 질문

• RQ1 단일 클라우드 기반 MLLM이 네 가지 모달리티에 걸친 다양한 CM-ReID 태스크에 대해 통합 백본으로 작용할 수 있는가?
• RQ2 MLLM의 ReID 특징 공간에서 효율적인 엣지 증류를 이끄는 discernible low-rank 구조가 있는가?
• RQ3 PCM 및 FR 손실이 교차 모달 관계를 보존하면서 효과적인 엣지 지식 전달을 가능하게 하는가?
• RQ4 엔드-투-엔드 클라우드-엣지 배포에서 CM-ReID 벤치마크에 대해 엣지 스튜던트가 클라우드 교사에 비해 어떤 성능을 보이는가?
• RQ5 LoRA 기반 미세조정 및 증류 전략이 성능과 효율성에 미치는 영향은 무엇인가?

주요 결과

• 지시 기반 프롬프트와 계층적 LoRA-SFT를 갖춘 클라우드 모델은 통합된 CM-ReID 벤치마크에서 최첨단 성능을 달성한다.
• SVD 분석은 교사의 ReID 특징 공간에서 뚜렷한 저랭크 구조를 드러내며, 중요한 정보가 주성분의 하위집합에 집중되어 있다.
• PCM 및 FR 손실은 코사인 정렬 단독에 비해 엣지 증류 성능을 크게 향상시키며, 제거 실험에서 PCM+FR이 여러 태스크에서 강력한 이점을 보임.
• 엣지 기반 모델은 여러 태스크에서 최첨단 CM-ReID 성능에 도달하며, 일부 지표에서 클라우드 모델에 근접하거나 일치한다.
• 제안된 클라우드-엣지 프레임워크는 자원 제약 장치에서 통합 MLLM-레벨 지능의 효과적인 배치를 보여준다.