[논문 리뷰] SRVAU-R1: Enhancing Video Anomaly Understanding via Reflection-Aware Learning

Zihao Zhao, Shengting Cao외 1명|arXiv (Cornell University)|2026. 02. 01.

Anomaly Detection Techniques and Applications인용 수 0

한 줄 요약

SRVAU-R1은 다중 모달 LLM에서 자기성찰과 수정 가능성을 가능하게 하도록 반사 지향 데이터 파이프라인과 두 단계 학습 프레임워크(SFT와 RFT)를 구축하여 영상 이상 이해를 위한 반사 인식 학습을 도입한다.

ABSTRACT

Multi-modal large language models (MLLMs) have demonstrated significant progress in reasoning capabilities and shown promising effectiveness in video anomaly understanding (VAU) tasks. However, existing MLLM-based approaches remain largely focused on surface-level descriptions of anomalies, lacking deep reasoning over abnormal behaviors like explicit self-reflection and self-correction. To address that, we propose Self-Reflection-Enhanced Reasoning for Video Anomaly Understanding (SRVAU-R1), a reflection-aware learning framework that incorporates reflection in MLLM reasoning. Specifically, SRVAU-R1 introduces the first reflection-oriented Chain-of-Thought dataset tailored for VAU, providing structured supervision with initial reasoning, self-reflection, and revised reasoning. Based on that, it includes a novel reflection-aware learning paradigm with supervised fine-tuning and reinforcement fine-tuning to enhance multi-modal reasoning for VAU. Extensive experiments on multiple video anomaly benchmarks demonstrate that SRVAU-R1 consistently outperforms existing methods, achieving significant improvements in both temporal anomaly localization accuracy and reasoning quality.

연구 동기 및 목표

• 표면적 설명을 넘어 복잡한 이상 현상을 깊고 시간적으로 근거 있는 이해를 촉진한다.
• VAU 과제를 위한 다중 모달 LLM에서 명시적 자기 반성과 자기 교정을 가능하게 한다.
• 반사 지향 사고 과정 체인(Chain-of-Thought) 데이터셋과 감독 신호를 제공한다.
• 추론 품질과 강건성을 개선하기 위해 두 단계 학습 패러다임(SFT 후 RFT)을 개발한다.

제안 방법

• 초기 추론, 자기 성찰 및 수정된 추론 신호를 추가하는 반사 지향 데이터 구성 파이프라인을 구축한다.
• 반사 강화 VAU에 맞춘 Chain-of-Thought 학습 데이터세트를 생성한다.
• GRPO를 기반으로 한 반사 강화 감독 미세 조정(SFT) 후 반사 인식 강화 강화 미세 조정(RFT)이라는 두 단계 학습 패러다임을 적용한다.
• 작업 정확도, 반사 품질 및 시간적 IoU(tIoU) 구성 요소를 포함하는 RFT용 합성 보상을 설계한다.
• 실제 이상 구간과 시간적 추론을 일치시키기 위해 시간적 IoU 보상을 도입한다.

실험 결과

연구 질문

• RQ1 명시적 자기 성찰이 VAU에서 추론 품질과 시간적 위치 추정에 어떻게 기여하는가?
• RQ2 반사 지향 데이터셋과 두 단계 학습이 데이터셋 간에 견고하고 일반화 가능한 VAU 성능을 얻어내는가?
• RQ3 반사 데이터 규모와 교사 모델의 VAU-R1 성능에 미치는 영향은 무엇인가?
• RQ4 반사 인식 강화 학습(GRPO 기반)이 VAU 과제에서 기준 모델과 비교하여 어떤 차이가 있는가?

주요 결과

• SRVAU-R1은 MSAD와 UCF-Crime에서 baselines 대비 QA 정확도와 VAU-Eval 점수를 지속적으로 향상시킨다.
• SRVAU-R1은 기준보다 더 나은 시간적 이상 근거화를 달성하며(더 높은 mIoU와 재현율), OOD 설정에서 ECVA 및 MSAD에서 강한 개선을 보인다.
• ablation 결과 반사 데이터와 두 단계 SFT+RFT가 결정적이며, 반사 데이터를 제거하면 성능이 크게 저하된다.
• 반사 인식 학습은 분명한 ‘아하 모먼트’를 가능하게 하여 모델이 초기 추론을 수정해 위치 지정과 인과 이해를 개선한다.
• 명시적 반영 표식 없이 두 단계적 사고는 한정된 이득만을 가져오며, 견고한 VAU를 위해서는 명시적 자기 성찰의 필요성을 강조한다.