[논문 리뷰] Memory Bear AI Memory Science Engine for Multimodal Affective Intelligence: A Technical Report

Deliang Wen, Ke Sun외 1명|arXiv (Cornell University)|2026. 03. 18.

Emotion and Mood Recognition인용 수 0

한 줄 요약

메모리 베어 AI 메모리 사이언스 엔진은 구조화된 메모리 시스템(EMU)으로 정서 정보를 처리하여 장기 시야의 로버스트한 다중 모달 정서 판단 및 검색을 가능하게 하며, 여러 데이터셋에서 Baseline을 상회하고 노이즈 조건에서도 성능이 향상됩니다.

ABSTRACT

Affective judgment in real interaction is rarely a purely local prediction problem. Emotional meaning often depends on prior trajectory, accumulated context, and multimodal evidence that may be weak, noisy, or incomplete at the current moment. Although multimodal emotion recognition (MER) has improved the integration of text, speech, and visual signals, many existing systems remain optimized for short-range inference and provide limited support for persistent affective memory, long-horizon dependency modeling, and robust interpretation under imperfect input. This technical report presents the Memory Bear AI Memory Science Engine, a memory-centered framework for multimodal affective intelligence. Instead of treating emotion as a transient output label, the framework models affective information as a structured and evolving variable within a memory system. It organizes processing through structured memory formation, working-memory aggregation, long-term consolidation, memory-driven retrieval, dynamic fusion calibration, and continuous memory updating. At its core, multimodal signals are transformed into structured Emotion Memory Units (EMUs), enabling affective information to be preserved, reactivated, and revised across interaction horizons. Experimental results show consistent gains over comparison systems across benchmark and business-grounded settings, with stronger accuracy and robustness, especially under noisy or missing-modality conditions. The framework offers a practical step from local emotion recognition toward more continuous, robust, and deployment-relevant affective intelligence.

연구 동기 및 목표

• 정서 판단을 순수한 로컬 예측 과제가 아닌 메모리 중심 문제로 재정의한다.
• 다중 모달 근거를 재사용 가능한 Emotion Memory Units (EMU)로 인코딩하는 구조화된 메모리 아키텍처를 제안한다.
• 모듬 모달이 누락되거나 노이즈가 있을 때 견고함을 향상시키기 위해 기억 기반의 단기 및 장기 집계, 검색 및 다이내믹 융합을 가능하게 한다.
• 벤치마크 데이터셋과 비즈니스 중심 데이터셋에서 더 강력한 성능과 견고함을 입증하고 배포 지향 분석을 수행한다.

제안 방법

• Stage 1: 텍스트는 LLM 기반 의미 인코딩으로, 오디오는 Higgs-Audio, 비전은 VLM 주도 표현으로 모달리티별 정서 인코딩을 생성하는 다중 모달 전처리 및 표현 학습.
• Stage 2: 정서 e_t, 원천 신뢰도 m_t, 맥락 앵커 c_t, 두드러짐 α_t, 시간적 τ_t를 캡처하는 EMU를 형성하는 구조화된 정서 메모리 모델링.
• Stage 2에는 또한 단기 집계를 위한 정서 작업 기억과 통합을 위한 정서 장기 기억, 그리고 기억 주도 검색이 포함된다.
• Stage 3: 과거 기억에 대해 다중 모달 기여도를 보정하는 다이내믹 융합 전략.
• Stage 4: 잊힘과 업데이트를 포함한 기억 라이프사이클이 있는 분류, 의사결정 및 기억 업데이트.

실험 결과

연구 질문

• RQ1 메모리 중심 설계가 긴 상호작용 시야에서 정서 판단의 안정성 및 정확도에 어떤 영향을 미치는가?
• RQ2 EMU와 기억 주도 검색이 전통적 융합 접근법에 비해 누락되거나 열화된 모달리티에서 견고성을 향상시키는가?
• RQ3 표준 MER 벤치마크(IEMOCAP, CMU-MOSEI) 및 비즈니스 지향 데이터셋에서 정확도 및 안정성의 이득은 얼마인가?
• RQ4 메모리 가이드 보정이 노이즈 입력에서 실시간 정서 해석에 어떤 영향을 미치는가?

주요 결과

• IEMOCAP에서 Memory Bear AI는 78.8% 정확도를 달성한다.
• CMU-MOSEI에서 Memory Bear AI는 66.7% 정확도를 달성한다.
• Memory Bear AI 비즈니스 데이터셋에서 정확도는 68.4%, 가중 F1은 48.6, 매크로 F1은 45.9이다.
• 비즈니스 데이터셋에서 전통적 융합 베이스라인에 비해 더 강한 정확도 향상(8.2 포인트)을 재현한다.
• 저하된 다중 모달 조건에서도 프레임워크는 전체 조건 성능의 92.3%를 유지하여 견고함을 보인다.