[논문 리뷰] StartNet: Online Detection of Action Start in Untrimmed Videos

Mingfei Gao, Mingze Xu외 3명|arXiv (Cornell University)|2019. 03. 23.

Human Pose and Action Recognition참고 문헌 35인용 수 11

한 줄 요약

StartNet는 클래식 네트워크(ClsNet)를 사용해 프레임별 행동 분류하고, 정책 기반 강화학습 최적화를 통해 클래스에 관계없이 행동 시작 지점 탐지를 수행하는 이단계 프레임워크를 제안한다. 이는 THUMOS'14에서 SOTA보다 15–30% 높은 p-mAP 성능을 달성했으며, ActivityNet에서는 10배 작아진 시간 오프셋으로도 유사한 성능를 기록한다.

ABSTRACT

We propose StartNet to address Online Detection of Action Start (ODAS) where action starts and their associated categories are detected in untrimmed, streaming videos. Previous methods aim to localize action starts by learning feature representations that can directly separate the start point from its preceding background. It is challenging due to the subtle appearance difference near the action starts and the lack of training data. Instead, StartNet decomposes ODAS into two stages: action classification (using ClsNet) and start point localization (using LocNet). ClsNet focuses on per-frame labeling and predicts action score distributions online. Based on the predicted action scores of the past and current frames, LocNet conducts class-agnostic start detection by optimizing long-term localization rewards using policy gradient methods. The proposed framework is validated on two large-scale datasets, THUMOS'14 and ActivityNet. The experimental results show that StartNet significantly outperforms the state-of-the-art by 15%-30% p-mAP under the offset tolerance of 1-10 seconds on THUMOS'14, and achieves comparable performance on ActivityNet with 10 times smaller time offset.

연구 동기 및 목표

• 자율주행 및 감시와 같은 응용 분야에서 시기적절한 탐지가 중요한 스트리밍 및 비트림 영상에서 행동 시작을 온라인으로 탐지하는 문제를 해결한다.
• 행동 시작 근처의 미세한 시각적 차이를 구분하기 어려운 단일 분류-국소화 접근 방식의 한계를 극복한다.
• 학습 효율성과 성능 향상을 위해 작업을 두 단계로 분해한다: 프레임별 행동 분류(ClsNet)와 시간적 시작 지점 국소화(LocNet)를 수행한다.
• 희소한 시작 지점 레이블을 대체로 사용하기 위해 프레임별 행동 레이블을 활용하여 일반화 능력과 모델의 강건성을 향상시킨다.
• 정책 기반 강화학습을 통해 장기적인 국소화 성능을 최적화하여 탐지된 행동 시작 간의 시간적 일관성을 강화한다.

제안 방법

• ClsNet는 입력 영상의 시공간적 특징을 집계하여 프레임별 행동 점수 분포를 생성하며, 이는 후속 국소화를 위한 고수준 표현으로 기능한다.
• LocNet는 ClsNet에서 생성된 이전 프레임의 행동 점수 추세를 처리하고, 정책 기반 강화학습을 통해 장기적인 국소화 보상을 최적화하는 방식으로 클래스에 관계없이 시작 확률을 예측한다.
• 프레임워크는 ClsNet와 LocNet 출력을 후기 융합하여 시간 정확도가 향상된 최종 행동 시작 예측을 도출한다.
• LocNet의 강화학습은 과거 결정을 고려함으로써 시간적 의존성을 모델링하여, 행동 시작이 시간적으로 밀접하게 집중되지 않도록 한다.
• 이 방법은 ClsNet를 프레임별 행동 레이블로 미리 학습하고, LocNet는 정책 기반 강화학습을 통해 누적 탐지 보상 최대화를 목표로 엔드 투 엔드로 학습된다.
• 실험에서는 TSN(BN-Inception 기반) 및 VGG-16(ImageNet 기반 사전 학습)의 특징을 사용하여, 단순한 이미지 기반 특징조차도 강건한 성능을 보임을 입증했다.

실험 결과

연구 질문

• RQ1 분류와 국소화 단계로 나누어 온라인 행동 시작 탐지 성능을 향상시킬 수 있는가?
• RQ2 희소한 시작 지점 레이블을 대체로 사용하는 프레임별 행동 레이블이 온라인 행동 시작 탐지의 일반화 능력을 향상시키는가?
• RQ3 LocNet에서 정책 기반 강화학습을 통해 시간적 모델링을 수행하면 장기적인 탐지 일관성 향상과 거짓 긍정 감소에 기여하는가?
• RQ4 시간 오프셋 허용 범위가 다양할 때, 이단계 설계가 단일 단계의 분류-국소화 네트워크와 비교해 p-mAP 성능에서 어떤가?
• RQ5 저수준의 원시 특징 대신 고수준 행동 점수 분포를 사용하면 탐지 성능 향상에 얼마나 기여하는가?

주요 결과

• THUMOS'14에서 1–10초의 오프셋 허용 범위 내에서 SOTA보다 15–30% 높은 p-mAP 성능을 기록하여 뚜렷한 성능 향상을 입증했다.
• ActivityNet에서는 10초 오프셋에서 이전 연구와 유사한 성능를 달성했지만, 10배 작아진 오프셋으로도 유사한 결과를 기록하여 시간 정밀도가 뛰어나다는 것을 보여주었다.
• VGG 특징을 사용할 경우 ClsNet 전용 모델 대비 LocNet 추가로 3% 이상 p-mAP 향상되었고, TS 특징을 사용할 경우 약 4% 향상되어 시간적 모델링의 가치를 입증했다.
• StartNet-PG(정책 기반 강화학습 기반 LocNet)는 StartNet-CE(교차 엔트로피 기반 학습)보다 5–9% 높은 p-mAP 성능를 기록했으며, 특히 작은 오프셋 허용 범위에서 두드러진 성능 향상을 보여 장기적 계획의 효과성을 입증했다.
• 정성적 결과 분석에서 LocNet는 ClsNet가 미세한 시각적 변화로 인해 놓친 행동 시작을 성공적으로 탐지함을 확인했으며, 이는 시간적 맥락의 유용성을 보여준다.
• ImageNet에서 사전 학습된 VGG-16 특징조차도 StartNet가 최고 성능를 기록하여, 프레임워크의 특징 품질에 대한 강건성을 확인했다.