[논문 리뷰] TACNet: Transition-Aware Context Network for Spatio-Temporal Action Detection

Lin Song, Shiwei Zhang외 2명|arXiv (Cornell University)|2019. 05. 31.

Human Pose and Action Recognition참고 문헌 24인용 수 8

한 줄 요약

TACNet는 순환 SSD 기반 검출기와 전이 상태를 인식하는 분류기를 통해 장기적 시간적 맥락을 통합함으로써 시공간 행동 검출을 향상시키는 전이 인식 맥락 네트워크를 제안한다. 이는 비정형 UCF101-24에서 기존 방법보다 0.5 IoU 임계값에서 3.7% 높은 비디오-mAP 성능을 기록하며 최신 기술 수준을 달성한다.

ABSTRACT

Current state-of-the-art approaches for spatio-temporal action detection have achieved impressive results but remain unsatisfactory for temporal extent detection. The main reason comes from that, there are some ambiguous states similar to the real actions which may be treated as target actions even by a well-trained network. In this paper, we define these ambiguous samples as "transitional states", and propose a Transition-Aware Context Network (TACNet) to distinguish transitional states. The proposed TACNet includes two main components, i.e., temporal context detector and transition-aware classifier. The temporal context detector can extract long-term context information with constant time complexity by constructing a recurrent network. The transition-aware classifier can further distinguish transitional states by classifying action and transitional states simultaneously. Therefore, the proposed TACNet can substantially improve the performance of spatio-temporal action detection. We extensively evaluate the proposed TACNet on UCF101-24 and J-HMDB datasets. The experimental results demonstrate that TACNet obtains competitive performance on JHMDB and significantly outperforms the state-of-the-art methods on the untrimmed UCF101-24 in terms of both frame-mAP and video-mAP.

연구 동기 및 목표

• 모호한 전이 상태로 인해 정확한 시간적 범위를 탐지하는 데에 한계를 가진 기존 방법의 문제를 해결하기 위해.
• 장기적 시간적 맥락 정보를 활용하여 시공간 행동 검출을 향상시키기 위해.
• 전이 상태를 실제 행동으로 잘못 분류함으로써 발생하는 시간 오류를 줄이기 위해.
• 공간 검출과 시간 맥락을 함께 모델링하고 일반화 능력을 향상시킬 수 있는 통합 프레임워크를 개발하기 위해.

제안 방법

• 시간 맥락 검출기는 다중 척도 양방향 Conv-LSTM 유닛을 통합한 수정된 SSD 프레임워크를 사용하여 시간 복잡도가 일정한 장기적 시간 맥락을 인코딩한다.
• 전이 상태 인식 분류기는 동작과 전이 상태를 동시에 분류함으로써 시간 오류를 감소시킨다.
• 모델 수렴을 가속화하기 위해 공통 및 차별적 모드 방식을 도입한다.
• 프레임 수준의 검출과 시간 링킹을 통한 시간 튜브 생성을 통해 비정형 비디오에서 종단 간(end-to-end)으로 네트워크를 훈련시킨다.
• 장기적 맥락은 비디오 클립의 순환 처리를 통해 캡처되며, '롱점프'와 같은 장기적인 행동 지속 시간을 모델링할 수 있다.
• 프레임 수준 및 비디오 수준의 mAP 메트릭을 사용하여 UCF101-24와 J-HMDB에서 평가한다.

실험 결과

연구 질문

• RQ1 시간 복잡도가 일정한 조건에서 시공간 행동 검출에 장기적 시간 맥락을 효율적으로 모델링할 수 있는가?
• RQ2 전이 상태를 구분함으로써 시간 정렬 정확도는 어느 정도 향상될 수 있는가?
• RQ3 통합 네트워크 아키텍처가 공간 검출과 시간 맥락 모델링을 함께 최적화할 수 있는가?
• RQ4 비정형 비디오 데이터셋에서 제안된 방법은 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• TACNet는 비정형 UCF101-24에서 0.5 IoU 임계값에서 58.3%의 비디오-mAP 성능을 기록하여 이전 최신 기술 수준의 ACT보다 3.7% 포인트 높다.
• 동일한 데이터셋에서 TACNet는 T-CNN 대비 프레임-mAP를 28.5% 향상시키고 비디오-mAP를 30.4% 향상시켰다.
• 전이 상태 인식 분류기는 기존에 ACT에서 주요 오류 원인이었던 시간 오류를 35%-40% 감소시켰다.
• ResNet-50 및 DSSD 백본을 사용함으로써 성능이 더욱 향상되었으며, UCF101-24에서 비디오-mAP는 79.2%에 도달했다.
• 정형 처리된 J-HMDB 데이터셋에서도 TACNet는 경쟁 가능한 성능을 기록하여 다양한 유형의 비디오에 대한 강건성을 입증했다.
• 제거 실험을 통해 시간 맥락 검출기와 전이 상태 인식 분류기 모두 전체 성능 향상에 기여하는 것으로 확인되었다.