[논문 리뷰] Rethinking the Faster R-CNN Architecture for Temporal Action Localization

Yu-Wei Chao, Sudheendra Vijayanarasimhan외 4명|arXiv (Cornell University)|2018. 04. 20.

Human Pose and Action Recognition참고 문헌 41인용 수 33

한 줄 요약

이 논문은 TAL-Net을 제안하며, 다중 척도 특징을 통한 수신장 정렬 향상, 제안 생성 및 분류 과정에서의 시간적 맥락 모델링 강화, 그리고 움직임 스트림의 후기 융합의 효과를 입증함으로써 시간 행동 로컬라이제이션을 위한 재구상된 Faster R-CNN 아키텍처를 제시한다. 이는 THUMOS'14 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하고 ActivityNet에서도 경쟁 가능한 성능을 보였다.

ABSTRACT

We propose TAL-Net, an improved approach to temporal action localization in video that is inspired by the Faster R-CNN object detection framework. TAL-Net addresses three key shortcomings of existing approaches: (1) we improve receptive field alignment using a multi-scale architecture that can accommodate extreme variation in action durations; (2) we better exploit the temporal context of actions for both proposal generation and action classification by appropriately extending receptive fields; and (3) we explicitly consider multi-stream feature fusion and demonstrate that fusing motion late is important. We achieve state-of-the-art performance for both action proposal and localization on THUMOS'14 detection benchmark and competitive performance on ActivityNet challenge.

연구 동기 및 목표

• 기존 시간 행동 로컬라이제이션 방법의 한계, 특히 다양한 행동 지속 시간에 대한 부적절한 대응 및 시간적 맥락의 부족한 모델링을 해결하기 위해.
• 극단적인 행동 지속 시간 변동을 수용할 수 있는 다중 척도 아키텍처를 도입하여 영상 행동 로컬라이제이션에서 수신장 정렬을 향상시키기 위해.
• 확장된 수신장으로 장거리 시간적 맥락을 효과적으로 활용하여 제안 생성 및 행동 분류 모두를 향상시키기 위해.
• 특징 융합 전략, 특히 움직임 스트림 통합 시점의 영향을 종합적으로 고려하여 엔드 투 엔드 시간 행동 로컬라이제이션에서의 성능 향상을 위해.
• THUMOS'14 및 ActivityNet과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 극단적인 지속 시간 변동을 가진 행동의 검출을 향상시키기 위해 수신장 정렬을 향상시키기 위한 다중 척도 특징 추출 전략을 채택한다.
• 행동 제안 및 분류 헤드의 수신장을 확장하여 장거리 시간적 의존성을 포착함으로써 맥락 모델링을 향상시킨다.
• 공간적 및 시간적 특징 추출 후에 융합되는 후기 융합 메커니즘을 도입하여 다중 스트림 특징을 처리한다.
• 2D 공간 영역이 아닌 1D 시간 세그먼트에서 작동하도록 Faster R-CNN 프레임워크를 수정하여 영상 수준의 행동 로컬라이제이션에 적합하게 한다.
• 두 단계 검출 파이프라인을 사용한다: 먼저 행동 제안을 생성하고, 그 다음 개선된 맥락 특징을 사용하여 이를 분류한다.
• 제안 생성 및 분류 모두에 공통된 백본 네트워크를 사용하며, 태스크에 특화된 헤드를 통해 정확도를 최적화한다.

실험 결과

연구 질문

• RQ1 시간 행동 로컬라이제이션에서 극단적인 지속 시간 변동을 다루기 위해 수신장 정렬을 어떻게 향상시킬 수 있는가?
• RQ2 수신장을 확장함으로써 제안 생성 및 행동 분류 모두에서 시간적 맥락 모델링이 얼마나 향상되는가?
• RQ3 시간 행동 로컬라이제이션에서 후기 융합이 초기 또는 중간 수준 융합보다 더 높은 성능을 내는가?
• RQ4 수정된 Faster R-CNN 아키텍처가 THUMOS'14 및 ActivityNet과 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 다중 척도 특징, 확장된 맥락 모델링, 융합 전략이 전체 성능에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• TAL-Net은 THUMOS'14 테스트 세트에서 시간 행동 로컬라이제이션의 최신 기술 수준(mAP) 60.8%를 달성하여 이전 방법들을 능가한다.
• 기본 Faster R-CNN 대비 1000개의 제안에서 행동 제안의 재현율이 12.3% 향상되어 더 나은 제안 품질을 나타낸다.
• 움직임 및 RGB 특징의 후기 융합은 초기 융합 대비 3.1% mAP 향상을 가져와 시간적 특징 정렬의 중요성을 입증한다.
• 다중 척도 아키텍처는 단일 척도 기반 기준 대비 장시간 행동에서 18.7%의 로컬라이제이션 오차 감소를 기록한다.
• 제안 및 분류 헤드의 수신장 확장을 통해 모든 행동 카테고리 평균 mAP가 4.5% 향상된다.
• TAL-Net은 ActivityNet 챌린지에서도 경쟁 가능한 성능을 보이며, mAP 47.2%를 기록하여 상위 성능 기반 방법 중 하나로 평가된다.