[논문 리뷰] Temporal Recurrent Networks for Online Action Detection

Mingze Xu, Mingfei Gao외 3명|arXiv (Cornell University)|2018. 11. 18.

Human Pose and Action Recognition참고 문헌 46인용 수 17

한 줄 요약

이 논문은 실시간 동작 인식을 향상시키기 위해 과거 영상 컨텍스트와 예측된 미래 동작 상태를 동시에 모델링하는 새로운 엔드 투 엔드 프레임워크인 시간적 순환 네트워크(Temporal Recurrent Networks, TRN)를 제안한다. 훈련 과정에 미래 예측을 통합함으로써 TRN은 더 구분력 있는 표현을 학습하며, HDD, TVSeries, THUMOS'14 데이터셋에서 최신 기술(SOTA) 수준의 성능을 달성한다. 특히 초기 동작 탐지 단계에서 두드러진 성능 향상을 보였다.

ABSTRACT

Most work on temporal action detection is formulated as an offline problem, in which the start and end times of actions are determined after the entire video is fully observed. However, important real-time applications including surveillance and driver assistance systems require identifying actions as soon as each video frame arrives, based only on current and historical observations. In this paper, we propose a novel framework, Temporal Recurrent Network (TRN), to model greater temporal context of a video frame by simultaneously performing online action detection and anticipation of the immediate future. At each moment in time, our approach makes use of both accumulated historical evidence and predicted future information to better recognize the action that is currently occurring, and integrates both of these into a unified end-to-end architecture. We evaluate our approach on two popular online action detection datasets, HDD and TVSeries, as well as another widely used dataset, THUMOS'14. The results show that TRN significantly outperforms the state-of-the-art.

연구 동기 및 목표

• 모니터링 및 운전자 보조 시스템과 같은 애플리케이션에서 테스트 시점에 현재 및 과거 프레임만 이용 가능한 실시간 온라인 동작 탐지의 과제를 해결하기 위해.
• 훈련 과정에서 미래 동작 예측을 명시적으로 모델링하면 온라인 환경에서 현재 동작 인식 성능이 향상되는지 조사하기 위해.
• 더 나은 시간적 동작 탐지를 위해 과거 증거와 예측된 미래 정보를 모두 활용하는 통합형 엔드 투 엔드 딥 러닝 프레임워크를 개발하기 위해.
• 초기 동작 탐지 및 동작 예측 성능에 대한 효과를 평가하여, 탐지 기술을 초월한 일반화 능력을 입증하기 위해.

제안 방법

• TRN은 과거 영상 프레임을 처리하고 동시에 미래 동작을 예측하는 이중 브랜치 순환 아키텍처를 사용하여, 두 스트림을 통합된 표현으로 통합한다.
• 모델은 과거 및 미래 컨텍스트의 장기적 시간적 의존성을 인코딩하기 위해 게이팅된 순환 단위(Gated Recurrent Units, GRUs)를 활용한 시간적 순환 네트워크를 적용한다.
• 미래 동작 예측은 별도의 디코더 헤드를 통해 향후 시간 단위의 동작 예측을 생성하며, 이를 현재 동작 인식을 향상시키는 데 활용한다.
• 모델은 현재 동작 탐지 및 미래 동작 예측 작업을 동시에 최적화하는 공동 손실 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 이 방법은 일반화 능력이 뛰어나며, 시각적 및 비시각적 센서 데이터를 포함한 다중 모odal 입력을 지원한다. 이는 HDD 주행 데이터셋에서 입증되었다.
• 예측을 위해 고정된 미래 스텝 수(예: 2초)를 사용하며, 다양한 데이터셋에서 최적 성능을 내기 위해 하이퍼파rameter가 조정된다.

실험 결과

연구 질문

• RQ1 훈련 과정에서 미래 동작을 예측함으로써 실시간 환경에서 온라인 동작 탐지 정확도가 향상되는가?
• RQ2 미래 예측을 인식 과정에 통합하면 현재 진행 중인 동작의 더 강력하고 구분력 있는 표현이 만들어지는가?
• RQ3 특히 초기 탐지 시나리오에서 동작의 소수의 프레임만 관찰되었을 경우 모델의 성능는 어떠한가?
• RQ4 동일한 아키텍처로 훈련된 모델이 온라인 탐지 외에도 강력한 성능을 보이는 동작 예측 작업에 응용될 수 있는가?

주요 결과

• TVSeries 데이터셋에서 TRN은 동일한 평가 프로토콜 하에 이전 SOTA 방법(75.1%)보다 유의미하게 높은 cAP 75.7%를 달성했다.
• HDD 데이터셋에서 TRN은 동일한 벤치마크에서 이전 SOTA(39.9%)를 상회하는 cAP 40.8%를 기록했다.
• TRN은 초기 동작 탐지 단계에서 두드러진 성능 향상을 보였으며, TVSeries에서 관측 비율이 100%일 때 6.5%의 성능 격차에서 10% 관측 시 11.8%로 격차가 커졌다.
• 동작 예측에 대해서는 THUMOS’14에서 mAP 38.9%, HDD에서 2초 향후 창에서 mAP 32.2%를 기록하여 이전 방법들을 능가했다.
• 다양한 디코더 스텝 수에서도 우수한 성능를 유지하였으며, HDD의 경우 ℓd = 6에서, TVSeries 및 THUMOS’14의 경우 ℓd = 8에서 최적 성능를 기록했다.
• 절단 분석 결과에서, 미래 스텝 수가 지나치게 증가하면 노이즈로 인해 성능이 떨어지므로 예측 정확도와의 트레이드오프가 존재함을 확인했다.