[논문 리뷰] Boundary-Denoising for Video Activity Localization

Mengmeng Xu, Mattia Soldan외 4명|arXiv (Cornell University)|2023. 04. 06.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 비디오 활동 로컬라이제이션을 위한 새로운 경계 노이즈 제거 학습 프레임워크인 DenoiseLoc를 제안한다. 학습 중에 제어된 노이즈를 정답 행동 스펙트럼에 주입함으로써 정밀도와 수렴 속도를 향상시킨다. 이 방법은 제안 수를 크게 줄여도(비디오당 30개) 성능을 유지하면서 QV-Highlights(+12.36% mAP) 및 MAD 데이터셋에서 최신 기술 수준의 성능을 달성하며, 계산 비용도 감소시킨다.

ABSTRACT

Video activity localization aims at understanding the semantic content in long untrimmed videos and retrieving actions of interest. The retrieved action with its start and end locations can be used for highlight generation, temporal action detection, etc. Unfortunately, learning the exact boundary location of activities is highly challenging because temporal activities are continuous in time, and there are often no clear-cut transitions between actions. Moreover, the definition of the start and end of events is subjective, which may confuse the model. To alleviate the boundary ambiguity, we propose to study the video activity localization problem from a denoising perspective. Specifically, we propose an encoder-decoder model named DenoiseLoc. During training, a set of action spans is randomly generated from the ground truth with a controlled noise scale. Then we attempt to reverse this process by boundary denoising, allowing the localizer to predict activities with precise boundaries and resulting in faster convergence speed. Experiments show that DenoiseLoc advances %in several video activity understanding tasks. For example, we observe a gain of +12.36% average mAP on QV-Highlights dataset and +1.64% mAP@0.5 on THUMOS'14 dataset over the baseline. Moreover, DenoiseLoc achieves state-of-the-art performance on TACoS and MAD datasets, but with much fewer predictions compared to other current methods.

연구 동기 및 목표

• 행동 경계가 주관적이고 시간적으로 연속적인 데서 기인하는 경계 모호성 문제를 해결한다.
• 경계 예측을 노이즈 제거 작업으로 간주하여 모델 수렴 속도와 정밀도를 향상시킨다.
• 성능을 저하시키지 않은 채 제안 수를 줄여 효율적인 추론을 가능하게 한다.
• 수동으로 설계된 제안 기반 없이 다양한 비디오 도메인(예: YouTube, 이교적 비디오)에 일반화할 수 있도록 한다.
• 최소한의 계산 오버헤드로 다수의 벤치마크에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 학습 중에 제어된 노이즈 스케일을 사용해 정답에서 노이즈가 있는 행동 스펙트럼을 생성하는 노이즈 제거 학습 프레임워크를 제안한다.
• 교차 모odal 상호작용을 포착하기 위해 트랜스포머 기반 인코더를 갖춘 인코더-디코더 모델을 설계하며, 다중 레이어를 통해 제안을 정밀하게 개선하는 디코더를 구현한다.
• 디코더에서 반복적 정밀화를 통해 위치 민감한 특징을 이용해 제안 임베딩과 스펙트럼을 업데이트함으로써 노이즈가 있는 입력을 점진적으로 정제한다.
• 시간 스펙트럼 노이즈 제거 목표를 도입하여 모델이 노이즈가 있는 초기 스펙트럼에서 정확한 경계를 복원하도록 유도한다.
• 표준 및 디퓨전 기반 변형(DiffusionLoc) 모두에 이 방법을 적용하며, 개선된 생성을 위해 시간 조건부 임베딩을 통합한다.
• DDPM와 유사한 노이즈 스케줄을 사용하여 노이즈 수준을 시간 단계 $t$로 제어하고, 실용적 구현을 위해 단일 스텝 추론을 적용한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 기반 학습 목표는 비디오 이해에서 경계 로컬라이제이션 정밀도를 향상시킬 수 있는가?
• RQ2 정답 스펙트럼에 제어된 노이즈를 주입하면 모델 수렴 속도가 빨라지고 일반화 성능이 향상되는가?
• RQ3 비디오당 30개의 제안만으로도 기존에 수천 개의 제안을 사용하는 방법보다 우수한 성능을 달성할 수 있는가?
• RQ4 이 경계 노이즈 제거 접근법은 이교적 비디오 및 장시간 비디오와 같은 다양한 비디오 도메인으로 일반화되는가?
• RQ5 헝가리안 매처의 한계가 재현도 지표에 얼마나 큰 영향을 미치며, 노이즈 제거 프레임워크는 이를 완화할 수 있는가?

주요 결과

• DenoiseLoc는 베이스라인 대비 QV-Highlights 데이터셋에서 평균 mAP가 +12.36% 향상되었다.
• MAD 데이터셋에서 Recall@1은 2.69% 향상되었고, 평균 mAP는 6.84% 향상되어 최신 기술 수준의 성능을 달성했다.
• THUMOS’14 데이터셋에서 DenoiseLoc는 베이스라인 대비 mAP@0.5에서 +1.64% 향상되었다.
• 비디오당 30개의 제안만을 사용함에도 불구하고, 수천 개의 제안을 사용하는 기존 방법과 동등하거나 더 우수한 성능을 보였다.
• 그림 1에 나타난 학습 동적 과정을 통해 베이스라인 방법보다 더 빠른 수렴을 보였다.
• 디퓨전 기반 변형인 DiffusionLoc는 전망은 있지만, 추론 중 음성 스펙트럼 복원에서의 불안정성으로 인해 향후 추가 탐색이 필요하다.