[논문 리뷰] Two-Stream AMTnet for Action Detection

Suman Saha, Gurkirt Singh외 1명|arXiv (Cornell University)|2020. 04. 03.

Human Pose and Action Recognition참고 문헌 44인용 수 8

한 줄 요약

이 논문은 온라인 행동 검출을 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 Two-Stream AMTnet을 제안한다. 이는 학습 시 특징 융합을 통해 외관 및 운동 스트림을 공동으로 훈련함으로써 실시간, 누적적인 행동 튜브 생성을 가능하게 한다. 이는 UCF-101-24 및 J-HMDB-21에서 최신 기술 수준(SOTA) 성능을 달성하며, 단지 프레임 쌍만을 사용하여도 33 fps의 추론 속도를 확보한다. 이는 프레임 기반, 후기 융합, 오프라인 방법의 한계를 극복한다.

ABSTRACT

In this paper, we propose Two-Stream AMTnet, which leverages recent advances in video-based action representation[1] and incremental action tube generation[2]. Majority of the present action detectors follow a frame-based representation, a late-fusion followed by an offline action tube building steps. These are sub-optimal as: frame-based features barely encode the temporal relations; late-fusion restricts the network to learn robust spatiotemporal features; and finally, an offline action tube generation is not suitable for many real-world problems such as autonomous driving, human-robot interaction to name a few. The key contributions of this work are: (1) combining AMTnet's 3D proposal architecture with an online action tube generation technique which allows the model to learn stronger temporal features needed for accurate action detection and facilitates running inference online; (2) an efficient fusion technique allowing the deep network to learn strong spatiotemporal action representations. This is achieved by augmenting the previous Action Micro-Tube (AMTnet) action detection framework in three distinct ways: by adding a parallel motion stIn this paper, we propose a new deep neural network architecture for online action detection, termed ream to the original appearance one in AMTnet; (2) in opposition to state-of-the-art action detectors which train appearance and motion streams separately, and use a test time late fusion scheme to fuse RGB and flow cues, by jointly training both streams in an end-to-end fashion and merging RGB and optical flow features at training time; (3) by introducing an online action tube generation algorithm which works at video-level, and in real-time (when exploiting only appearance features). Two-Stream AMTnet exhibits superior action detection performance over state-of-the-art approaches on the standard action detection benchmarks.

연구 동기 및 목표

• 자율 주행 및 인간-로봇 상호작용과 같은 애플리케이션에서 실시간 구현을 방해하는, 프레임 기반, 후기 융합, 오프라인 방법의 한계를 해결하기 위해.
• 밀도 높은 다중 프레임 애너테이션(예: k=6–8 프레임)이 필요한 높은 계산 비용 문제를 해결하기 위해, 희박한 쌍별 프레임 애너테이션으로 훈련이 가능하도록 하기 위해.
• 학습 시 특징 융합을 통해 외관 및 운동 스트림의 엔드 투 엔드 공동 최적화를 가능하게 하여, 테스트 시 후기 융합에 의존하지 않도록 하기 위해.
• 영상 스트림이 들어오는 동안 실시간으로 튜브를 누적적으로 생성하는 온라인, 누적적 행동 튜브 생성 알고리즘을 개발하여 실세계 구현에 적합하게 하기 위해.
• 높은 정확도와 빠른 속도를 동시에 확보하여 실시간 애플리케이션에 적합하게 하며, 희박한 애너테이션과 밀도 높은 애너테이션 양식을 모두 지원하기 위해.

제안 방법

• 원래의 RGB 외관 스트림 외에 병렬 운동 스트림을 도입하여 AMTnet 아키텍처를 확장함으로써, 광학 흐름 특징을 함께 처리하도록 한다.
• 두 스트림을 공동으로 엔드 투 엔드 훈련하여, 최적화 과정에서 외관 및 운동 특징 간의 픽셀 단위 대응 관계를 학습할 수 있도록 한다.
• 학습 시 기계적 컨볼루션 특징 융합 메커니즘을 구현하여, 네트워크의 초기 단계에서 RGB 및 광학 흐름 특징을 융합함으로써, 시공간 표현 학습을 향상시킨다.
• 영상 수준에서 프레임 수준이 아닌, 누적적으로 행동 튜브를 생성하는 온라인 행동 튜브 생성 알고리즘을 설계하여 실시간 추론을 가능하게 한다.
• 학습 및 추론 모두에서 단지 프레임 쌍(f_t, f_{t+Δ})만을 사용함으로써, k-프레임 윈도우 방법 대비 계산 비용을 감소시킨다.
• 운동 표현으로 밀도 높은 광학 흐름 추정을 활용하며, 정확도 손실이 크지 않은 범위에서 실시간 흐름으로 전환할 수 있는 옵션을 제공한다.

실험 결과

연구 질문

• RQ1 학습 시 특징 융합을 통한 외관 및 운동 스트림의 공동 엔드 투 엔드 훈련이, 테스트 시 후기 융합 대비 시공간 표현 학습을 향상시키는가?
• RQ2 두 스트림 프레임워크에 온라인, 누적적 행동 튜브 생성 전략을 효과적으로 통합하여 실시간 추론을 가능하게 할 수 있는가?
• RQ3 연속된 k개의 프레임 대신 단지 프레임 쌍을 사용하는 것이, DALY 및 AVA와 같은 희박한 애너테이션에서도 효과적인 훈련을 가능하게 하는가?
• RQ4 제안된 방법이 소비자 하드웨어에서 실시간 추론 속도(예: >20 fps)를 유지하면서도 표준 벤치마크에서 높은 정확도를 달성할 수 있는가?
• RQ5 고 IoU 임계치(예: 0.75, [0.5:0.95])에서 최신 기술 수준의 오프라인 및 온라인 검출기와 비교해 모델 성능은 어떻게 되는가?

주요 결과

• Two-Stream AMTnet는 UCF-101-24 및 J-HMDB-21에서 최신 기술 수준 성능을 달성하며, 특히 고 IoU 임계치(예: 0.75 및 [0.5:0.95])에서 온라인 및 오프라인 SOTA 방법을 모두 초월한다.
• 단일 1080Ti GPU에서 단일 스트림으로 33 fps, 이중 스트림으로 21 fps의 추론 속도를 확보하여 실시간 구현에 적합한 실시간 능력을 입증한다.
• 학습 시 융합 전략이 전통적인 테스트 시 후기 융합 대비 영상 mAP를 크게 향상시켜, 공동 외관-운동 표현 학습에 효과적임을 입증한다.
• 단지 프레임 쌍만을 사용함으로써, DALY, AVA와 같은 희박한 애너테이션을 지원하며, 이전 방법에서 요구하는 밀도 높은 k-프레임 애너테이션의 높은 비용을 피할 수 있다.
• J-HMDB-21에서 Kalogeiton 등 [7]의 방법보다 고 IoU 임계치에서 우수한 성능을 보이며, 더 뛰어난 국소화 강건성을 입증한다.
• 비록 온라인 및 실시간임에도 불구하고, UCF-101-24에서 비교된 모든 방법 중 최고의 성능을 기록하며, 최고의 오프라인 모델조차도 능가한다.