[논문 리뷰] CaReFlow: Cyclic Adaptive Rectified Flow for Multimodal Fusion

Sijie Mai, Shiqin Han|arXiv (Cornell University)|2026. 02. 22.

Emotion and Mood Recognition인용 수 0

한 줄 요약

CaReFlow는 cyclic adaptive rectified flow를 활용하여 시각 및 음향 모달리티 분포를 language 분포로 매핑하고, one-to-many 매핑, adaptive relaxed alignment, 및 cycle-consistency를 통해 강건한 다중 모달 융합을 가능하게 하며, 다중 모달 정서 컴퓨팅(MAC) 태스크에서 최첨단 성과를 달성합니다.

ABSTRACT

Modality gap significantly restricts the effectiveness of multimodal fusion. Previous methods often use techniques such as diffusion models and adversarial learning to reduce the modality gap, but they typically focus on one-to-one alignment without exposing the data points of the source modality to the global distribution information of the target modality. To this end, leveraging the characteristic of rectified flow that can map one distribution to another via a straight trajectory, we extend rectified flow for modality distribution mapping. Specifically, we leverage the `one-to-many mapping' strategy in rectified flow that allows each data point of the source modality to observe the overall target distribution. This also alleviates the issue of insufficient paired data within each sample, enabling a more robust distribution transformation. Moreover, to achieve more accurate distribution mapping and address the ambiguous flow directions in one-to-many mapping, we design `adaptive relaxed alignment', enforcing stricter alignment for modality pairs belonging to the same sample, while applying relaxed mapping for pairs not belonging to the same sample or category. Additionally, to prevent information loss during distribution mapping, we introduce `cyclic rectified flow' to ensure the transferred features can be translated back to the original features, allowing multimodal representations to learn sufficient modality-specific information. After distribution alignment, our approach achieves very competitive results on multiple tasks of multimodal affective computing even with a simple fusion method, and visualizations verify that it can effectively reduce the modality gap.

연구 동기 및 목표

• 다중 모달 정서 컴퓨팅(MAC)에서 모달리티 간 간격을 분포 매핑 문제로 재정의한다.
• CaReFlow를 one-to-many 매핑, adaptive relaxed alignment, 및 cyclic information flow로 개발하여 정렬을 개선하고 모달리티별 정보를 보존한다.
• 분포 정렬 후 간단한 융합 모듈을 사용한 효과적인 다중 모달 융합을 가능하게 하고 MAC 벤치마크 전반에서 강력한 실증 결과를 보여준다.
• CaReFlow가 시각적 및 정량적으로 모달리티 간 간격을 줄임을 보여주고, 융합 전략 전반에 걸친 견고성을 분석한다.

제안 방법

• 원래 흐름(rectified flow)을 채택하여 source 모달리티 분포를 target language 분포로 곧은 궤적을 따라 매핑한다.
• 각 source 데이터 포인트가 정렬 중 더 넓은 target 분포를 관찰하도록 one-to-many 매핑을 사용한다.
• 같은 샘플의 페어는 더 엄격한 정렬을, 다른 샘플/카테고리의 페어는 여유를 주되 레버리지 마진은 레이블 유사도에 의존하도록 adaptive relaxed alignment를 도입한다.
• forward 변환된 특징이 원래 특징으로 되돌아갈 수 있도록 cyclic rectified flow를 도입하여 모달리티별 정보를 보존한다.
• 드리브 힘 V를 시간 의존 신경망(시간 임베딩이 있는 MLP)으로 구현하고, X_m1을 X_m2와 정렬하는 forward 손실과 역방향으로 맵백하는 backward 손실을 통해 학습하되 unimodal 학습을 분리하기 위해 detach 연산을 사용한다.
• 사실상 시각/음향 모달리티를 융합하기 전에 두 Euler 단계를 사용(dt=0.5)하여 언어 공간으로 매핑하고 소스에서 타깃으로의 인과 정보 흐름을 가능하게 한다.
• adaptive relaxed alignment는 샘플 및 카테고리 관계에 의존하는 여유 η로 제어되어 광범위한 반복적 rectified-flow 학습 없이도 더 빠르고 정확한 분포 매핑을 가능하게 한다.
• cyclic information flow는 매핑된 모달리티 특징으로부터 원래 모달리티 특징을 재구성하는 backward rectified flow를 포함하여 다운스트림 예측을 위한 정보 보존을 돕는다.
• 분포 정렬 후 융합은 간단한 Fusion 모듈(Concatenation + MLP)을 사용하여 CaReFlow가 경량 융합에서도 성능 향상을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 rectified flow를 다중 모달 분포 정렬에 적용하여 모달리티 간 간격을 1:1 매핑 너머로 다룰 수 있는가?
• RQ2 adaptive relaxed alignment를 가진 one-to-many 매핑이 정렬 품질을 개선하고 반복적 rectified-flow 학습의 필요성을 줄이는가?
• RQ3 사이클 일관성이 MAC 태스크에서 분포 변환 중 모달리티별 정보를 보존하는 데 필수적인가?

주요 결과

• CaReFlow는 여러 데이터셋(CMU-MOSI, CMU-MOSEI, CH-SIMS-v2, UR-FUNNY, MUStARD 등)에서 다중 모달 감성 분석 및 관련 MAC 태스크에서 경쟁력 있는 및 종종 최첨단 결과를 달성한다.
• CMU-MOSI에서 CaReFlow는 Acc7=50.6, Acc2=89.8, F1=89.7, MAE=0.616, Corr=0.858를 달성한다.
• CMU-MOSEI에서 CaReFlow는 Acc7=55.7, Acc2=87.9, F1=88.0, MAE=0.504, Corr=0.799를 달성한다.
• CH-SIMS-v2에서 CaReFlow는 Acc5=57.9, Acc3=75.9, Acc2=82.9, F1=82.9, MAE=0.277, Corr=0.745를 달성한다.
• MHD 및 MSD 태스크(UR-FUNNY 및 MUStARD)에서 CaReFlow는 강력한 베이스라인보다 유의미하게 우수한 성능을 보여 다른 MAC 태스크에 대한 일반화 가능성을 입증한다.
• Ablation 연구는 분포 정렬, cyclic information flow, adaptive relaxed alignment, 또는 one-to-many 매핑을 제거하면 성능이 크게 떨어진다는 것을 보여주어 이들 요소의 중요성을 강조한다.