[论文解读] CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion

Sijie Mai, Shiqin Han|arXiv (Cornell University)|Feb 22, 2026

Emotion and Mood Recognition被引用 0

一句话总结

CaReFlow 利用循环自适应修正流通过一对多映射、自适应放松对齐和循环一致性，将视觉和声学模态分布映射到语言分布，从而实现鲁棒的多模态融合并在多模态情感计算任务上达到最先进的结果。

ABSTRACT

Modality gap significantly restricts the effectiveness of multimodal fusion. Previous methods often use techniques such as diffusion models and adversarial learning to reduce the modality gap, but they typically focus on one-to-one alignment without exposing the data points of the source modality to the global distribution information of the target modality. To this end, leveraging the characteristic of rectified flow that can map one distribution to another via a straight trajectory, we extend rectified flow for modality distribution mapping. Specifically, we leverage the `one-to-many mapping' strategy in rectified flow that allows each data point of the source modality to observe the overall target distribution. This also alleviates the issue of insufficient paired data within each sample, enabling a more robust distribution transformation. Moreover, to achieve more accurate distribution mapping and address the ambiguous flow directions in one-to-many mapping, we design `adaptive relaxed alignment', enforcing stricter alignment for modality pairs belonging to the same sample, while applying relaxed mapping for pairs not belonging to the same sample or category. Additionally, to prevent information loss during distribution mapping, we introduce `cyclic rectified flow' to ensure the transferred features can be translated back to the original features, allowing multimodal representations to learn sufficient modality-specific information. After distribution alignment, our approach achieves very competitive results on multiple tasks of multimodal affective computing even with a simple fusion method, and visualizations verify that it can effectively reduce the modality gap.

研究动机与目标

• 将多模态情感计算（MAC）中的模态差距重新表述为分布映射问题。
• 开发 CaReFlow，具备一对多映射、自适应放松对齐和循环信息流，以在保持模态特征信息的同时改善对齐。
• 在分布对齐后使用一个简单的融合模块实现有效的多模态融合，并在 MAC 基准上展示强有力的经验结果。
• 展示 CaReFlow 在视觉/声学模态到语言映射中的模态差距在视觉和量化方面的降低，并分析在不同融合策略下的鲁棒性。

提出的方法

• 采用修正流将源模态分布映射向目标语言分布，轨迹为直线。
• 使用一对多映射，使每个源数据点在对齐过程中观察到更广的目标分布。
• 引入自适应放松对齐，对来自同一样本的对齐对进行更严格的对齐，而对不同样本/类别的对进行放松，其边界依赖于标签相似度。
• 引入循环修正流，确保前向变换后的特征能够映射回原始特征，保留模态特定信息。
• 实现漂移力 V 作为一个时变神经网络（带时间嵌入的 MLP），通过一个前向损失将 X_m1 对齐到 X_m2，和一个后向损失映射回去，并通过分离操作来解耦单模态学习。
• 实践中使用两个欧拉步(dt=0.5)将视觉/声学模态映射到语言空间再进行融合，从而实现从源到目标的因果信息流。
• 自适应放松对齐由一个依赖于样本和类别关系的边界 η 控制，使分布映射更快且更准确，而无需大量迭代的修正流训练。
• 循环信息流包含一个后向的修正流，以从映射后的模态特征中重建原始模态特征，帮助下游预测的信息保留。
• 在分布对齐后进行融合，使用简单的融合模块（拼接 + MLP），证明 CaReFlow 即使在轻量级融合下也能提升性能。

实验结果

研究问题

• RQ1 能否将修正流应用于多模态分布对齐，以桥接超越一对一映射的模态差距？
• RQ2 一对多映射结合自适应放松对齐是否能改善对齐质量并减少对迭代修正流训练的需求？
• RQ3 循环一致性对于在 MAC 任务中的分布变换过程中保留模态特定信息是否至关重要？

主要发现

• CaReFlow 在多模态情感分析及相关 MAC 任务（如 CMU-MOSI、CMU-MOSEI、CH-SIMS-v2、UR-FUNNY、MUStARD）上实现了具有竞争力且 Often 达到最先进水平的结果。
• 在 CMU-MOSI 上，CaReFlow 达到 Acc7=50.6、Acc2=89.8、F1=89.7、MAE=0.616、Corr=0.858。
• 在 CMU-MOSEI 上，CaReFlow 达到 Acc7=55.7、Acc2=87.9、F1=88.0、MAE=0.504、Corr=0.799。
• 在 CH-SIMS-v2 上，CaReFlow 达到 Acc5=57.9、Acc3=75.9、Acc2=82.9、F1=82.9、MAE=0.277、Corr=0.745。
• 在 MHD 与 MSD 任务（UR-FUNNY 和 MUStARD）中，CaReFlow 相较强基线显示出显著优势，证明其对其他 MAC 任务的泛化能力。
• 消融研究表明，移除分布对齐、循环信息流、自适应放松对齐或一对多映射都会导致显著的性能下降，强调了它们的重要性。