[論文レビュー] Unleashing MLLMs on the Edge: A Unified Framework for Cross-Modal ReID via Adaptive SVD Distillation

Hongbo Jiang, Jie Li+5 more|arXiv (Cornell University)|Feb 13, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

この論文は MLLMEmbed-ReID を提示します。クラウドエッジフレームワークで、基盤 MLLM をクロスモーダル ReID の統一的なクラウド教師へ適応させ、知識を軽量なエッジ学生へ蒸留します。新規の低ランクベース蒸留と主成分マッピングおよび特徴関係損失を用います。

ABSTRACT

Practical cloud-edge deployment of Cross-Modal Re-identification (CM-ReID) faces challenges due to maintaining a fragmented ecosystem of specialized cloud models for diverse modalities. While Multi-Modal Large Language Models (MLLMs) offer strong unification potential, existing approaches fail to adapt them into a single end-to-end backbone and lack effective knowledge distillation strategies for edge deployment. To address these limitations, we propose MLLMEmbed-ReID, a unified framework based on a powerful cloud-edge architecture. First, we adapt a foundational MLLM into a state-of-the-art cloud model. We leverage instruction-based prompting to guide the MLLM in generating a unified embedding space across RGB, infrared, sketch, and text modalities. This model is then trained efficiently with a hierarchical Low-Rank Adaptation finetuning (LoRA-SFT) strategy, optimized under a holistic cross-modal alignment objective. Second, to deploy its knowledge onto an edge-native student, we introduce a novel distillation strategy motivated by the low-rank property in the teacher's feature space. To prioritize essential information, this method employs a Principal Component Mapping loss, while relational structures are preserved via a Feature Relation loss. Our lightweight edge-based model achieves state-of-the-art performance on multiple visual CM-ReID benchmarks, while its cloud-based counterpart excels across all CM-ReID benchmarks. The MLLMEmbed-ReID framework thus presents a complete and effective solution for deploying unified MLLM-level intelligence on resource-constrained devices. The code and models will be open-sourced soon.

研究の動機と目的

• フラグメント化したモダリティ特化モデルを置換する統一的な MLLM バックボーンを用いたクラウドエッジ CM-ReID の動機付け。
• 基盤 MLLM を RGB、IR、スケッチ、テキストの統一埋め込みを出力する強力なクラウド教師へ適応。
• 低ランクの特徴空間を活用したエッジ向け蒸留戦略を開発し、知識を効率的に転送。

提案手法

• 基盤 MLLM（Qwen2-VL）をクラウド教師として適応させ、指示ベースのプロンプトで RGB、IR、スケッチ、テキストの各モダリティ間の統一埋め込み空間を生成。
• クラウドモデルを階層的 LoRA-SFT で微調整し、統合的なクロスモーダル整合 Objective（ID 損失、Triplet 損失、SDM）を用いる。
• SVD 分析を通じて教師の ReID 特徴空間に低ランク構造を観察。
• エッジの学生モデル（CLIP ベース）へ、Cosine Matching 損失、Principal Component Mapping 損失（PCM）、および Feature Relation 損失（FR）を用いて蒸留を行い、主成分を優先し特徴関係を保持。
• タスク損失と蒸留損失を組み合わせ、エッジ学生の訓練の総蒸留損失とする。
• Quadruple Cross-Modal ReID（QrCM-ReID）データセット上の3つの CM-ReID タスクでクラウド対エッジの性能を評価。

実験結果

リサーチクエスチョン

• RQ1 4 モダリティにわたる多様な CM-ReID タスクの統一的なバックボーンとして、単一のクラウドベース MLLM が機能し得るか？
• RQ2 MLLM の ReID 特徴空間に低ランク構造が検出可能で、それが効率的なエッジ蒸留を導くか？
• RQ3 PCM および FR 損失は、クロスモーダル関係を保持しつつ効果的なエッジ知識転送を可能にするか？
• RQ4 エンドツーエンドのクラウドエッジ展開において、エッジ学生は CM-ReID ベンチマークでクラウド教師に対してどうか？
• RQ5 LoRA ベースの微調整と蒸留戦略が性能と効率に与える影響は？

主な発見

• 指示ベースのプロンプトと階層的 LoRA-SFT を用いたクラウドモデルが、統一された CM-ReID ベンチマークで最先端の性能を達成。
• SVD 分析により、教師の ReID 特徴空間に顕著な低ランク構造が見られ、重要情報は主成分のサブセットに集中。
• PCM および FR 損失は、コサイン整列のみの場合よりエッジ蒸留性能を大幅に改善し、アブレーションでも PCM+FR が複数のタスクで強い利得を示す。
• エッジベースのモデルは複数タスクで最先端の CM-ReID 性能に到達し、いくつかの指標でクラウドモデルに近づく／対等となる。
• 提案するクラウドエッジフレームワークは、リソース制約デバイス上で統一された MLLM レベルの知能を効果的に展開できることを示す。