[논문 리뷰] Online Action Detection in Untrimmed, Streaming Videos - Modeling and Evaluation.

Zheng Shou, Junting Pan외 6명|arXiv (Cornell University)|2018. 02. 19.

Human Pose and Action Recognition참고 문헌 54인용 수 26

한 줄 요약

이 논문은 트림되지 않은 스트리밍 비디오에서 온라인 동작 검출(OAD)를 위한 새로운 프레임워크를 제안하며, 새로운 평가 프로토콜과 세 가지 핵심 기법을 도입한다: GAN 기반의 하드 음성 샘플링, 시간적 일관성 정규화, 그리고 동작 시작 주변의 적응형 샘플링. 이 방법은 실제 환경에서 도전적인 조건에서도 검출의 빠름과 정확도를 크게 향상시키며, THUMOS'14와 ActivityNet에서 최고 성능을 기록한다.

ABSTRACT

The goal of Online Action Detection (OAD) is to detect action in a timely manner and to recognize its action category. Early works focused on early action detection, which is effectively formulated as a classification problem instead of online detection in streaming videos, because these works used partially seen short video clip that begins at the start of action. Recently, researchers started to tackle the OAD problem in the challenging setting of untrimmed, streaming videos that contain substantial background shots. However, they evaluate OAD in terms of per-frame labeling, which does not require detection at the instance-level and does not evaluate the timeliness of the online detection process. In this paper, we design new protocols and metrics. Further, to specifically address challenges of OAD in untrimmed, streaming videos, we propose three novel methods: (1) we design a hard negative samples generation module based on Generative Adversarial Network (GAN) framework to better distinguish ambiguous background shots that share similar scenes but lack true characteristics of action start; (2) during training we impose a temporal consistency constraint between data around action start and data succeeding action start to model their similarity; (3) we introduce an adaptive sampling strategy to handle the scarcity of the important training data around action start. We conduct extensive experiments using THUMOS'14 and ActivityNet. We show that our proposed strategies lead to significant performance gains and improve state-of-the-art results. A systematic ablation study also confirms the effectiveness of each proposed method.

연구 동기 및 목표

• 기존 OAD 방법들이 타임리프트를 고려하지 않은 프레임 단위 레이블링 방식을 평가하는 데서 비롯하는 한계를 해결하기 위해.
• 배경 샷이 모호하고 동작 시작과 유사한 트림되지 않은 스트리밍 비디오에서 동작 시작 주변의 시간적 동역학을 모델링하기 위해.
• 동작 시작 순간 주변의 데이터 부족 문제를 해결함으로써 학습 효율성과 모델 일반화 능력을 향상시키기 위해.
• 실시간 스트리밍 환경에서 온라인 동작 검출의 빠름과 정확도를 반영하는 새로운 평가 프로토콜을 설계하기 위해.
• THUMOS'14와 ActivityNet를 사용하여 트림되지 않은 비디오에서 OAD에 대한 체계적인 벤치마크를 구축하기 위해.

제안 방법

• 모델의 강인성을 향상시키기 위해, 진정한 동작 특성을 갖지 않지만 동작 시작과 유사한 배경 클립을 합성하는 GAN 기반의 하드 음성 샘플 생성 모듈을 설계하였다.
• 동작 시작 근처의 특징과 그 직후의 특징 간에 학습 중 시간적 일관성 제약을 적용하여, 동작 경계를 넘는 시각적 패턴의 연속성을 모델링하였다.
• 데이터 부족이 심한 중요한 영역인 동작 시작 순간 주변의 학습 인스턴스를 우선순위로 지정하고 과잉 샘플링하는 적응형 샘플링 전략을 도입하였다.
• 프레임 단위 레이블링을 넘어서 인스턴스 수준의 검출과 빠름을 중시하는 새로운 평가 지표와 프로토콜을 제안하였다.
• 시간 모델링과 분류 학습을 통합하여 실시간 추론이 가능한 트림되지 않은 비디오 스트림에서 엔드 투 엔드로 프레임워크를 학습시켰다.

실험 결과

연구 질문

• RQ1 배경 영상이 시각적으로 동작 시작과 유사한 트림되지 않은 스트리밍 비디오에서 동작 시작 검출을 어떻게 향상시킬 수 있는가?
• RQ2 동작 시작 순간 주변의 정보성 샘플 부족 문제를 효과적으로 해결할 수 있는 학습 전략은 무엇인가?
• RQ3 전후 세그먼트 간의 시간적 일관성이 모델 일반화와 검출 정확도를 어떻게 향상시킬 수 있는가?
• RQ4 GAN 기반 하드 음성 샘플링이 모호한 장면에서 잘못된 양성 결과를 줄이는 데 기여하는가?
• RQ5 기존의 프레임 단위 레이블링에 비해 제안된 평가 프로토콜이 실제 온라인 동작 검출 성능을 얼마나 더 잘 반영하는가?

주요 결과

• 제안된 방법은 THUMOS'14와 ActivityNet 데이터셋에서 모두 최고 성능을 기록하며, 기존 방법들보다 온라인 동작 검출에서 뛰어난 성능을 보였다.
• GAN 기반 하드 음성 샘플링 모듈은 모호한 배경 장면에서의 오분류를 줄이며 모델의 강인성을 크게 향상시켰다.
• 시간적 일관성 제약은 동작 시작 경계를 넘는 시각적 특징의 연속성을 모델링함으로써 더 안정적이고 정확한 검출을 가능하게 하였다.
• 적응형 샘플링 전략은 특히 동작 시작 주변의 중요한 윈도우에서 학습 효율성과 검출 성능을 향상시켰다.
• 절단 실험을 통해 각 제안된 구성 요소가 성능 향상에 독립적이고 상당한 기여를 한다는 것이 확인되었다.
• 새로운 평가 프로토콜은 이전 방법들이 프레임 단위 레이블링으로 인해 성능을 과대 평가하고 있음을 드러내며, 인스턴스 수준의 빠름을 고려한 벤치마크의 필요성을 강조한다.