[논문 리뷰] Actions as Moving Points

Yixuan Li, Zixu Wang외 2명|arXiv (Cornell University)|2020. 01. 14.

Human Pose and Action Recognition참고 문헌 41인용 수 7

한 줄 요약

이 논문은 동작을 이동하는 점들의 궤적으로 모델링하는 앵커프리, 원스테이지 스페로타임포지션 액션 튜브릿 탐지 프레임워크인 MOC-Detector를 제안한다. 세 개의 전용 헤드를 통해 인스턴스 중심, 운동 오프셋, 바운딩 박스 크기를 동시에 예측함으로써, JHMDB와 UCF101-24에서 최신 기준 성능을 달성하며, 특히 높은 IoU 임계값에서 뛰어난 성능을 보이며, 추론 속도는 약 25 FPS에 가깝다.

ABSTRACT

The existing action tubelet detectors often depend on heuristic anchor design and placement, which might be computationally expensive and sub-optimal for precise localization. In this paper, we present a conceptually simple, computationally efficient, and more precise action tubelet detection framework, termed as MovingCenter Detector (MOC-detector), by treating an action instance as a trajectory of moving points. Based on the insight that movement information could simplify and assist action tubelet detection, our MOC-detector is composed of three crucial head branches: (1) Center Branch for instance center detection and action recognition, (2) Movement Branch for movement estimation at adjacent frames to form trajectories of moving points, (3) Box Branch for spatial extent detection by directly regressing bounding box size at each estimated center. These three branches work together to generate the tubelet detection results, which could be further linked to yield video-level tubes with a matching strategy. Our MOC-detector outperforms the existing state-of-the-art methods for both metrics of frame-mAP and video-mAP on the JHMDB and UCF101-24 datasets. The performance gap is more evident for higher video IoU, demonstrating that our MOC-detector is particularly effective for more precise action detection. We provide the code at https://github.com/MCG-NJU/MOC-Detector.

연구 동기 및 목표

• 앵커 기반 튜브릿 탐지기의 한계를 해결하기 위해, 수작업으로 설계된 앵커의 비효율성과 비최적의 배치 문제를 해결하고자 한다.
• 운동 정보를 구조적 인덕티브 바이어스로 활용하여 스페로타임포지션 액션 탐지의 국소화 정밀도를 향상시키고자 한다.
• 완전히 컨volutional인, 원스테이지 탐지 프레임워크를 개발하여 영상 수준의 튜브릿 탐지에 있어 효율성과 정확도를 동시에 확보하고자 한다.
• 기존 최신 기준 방법들을 초월하여, 특히 높은 IoU 기준에서 JHMDB 및 UCF101-24와 같은 표준 벤치마크에서 뛰어난 성능을 내고자 한다.

제안 방법

• 프레임워크는 각 액션 인스턴스를 이동하는 점들의 궤적으로 간주하며, 탐지 과정을 중심점 탐지, 운동 오프셋 추정, 상자 크기 회귀의 세 가지 작업으로 분해한다.
• 2D 효율적인 백본 네트워크가 입력 클립 프레임에서 특징을 추출하고, 이를 세 개의 전용 헤드 브랜치(센터, 이동, 상자 브랜치)에서 처리한다.
• 센터 브랜치는 액션 인스턴스 중심을 탐지하고, 핵심 프레임에서 액션 카테고리 예측을 수행한다.
• 이동 브랜치는 중심점 기준으로 인접 프레임 간의 운동 오프셋을 추정하여, 이동하는 점들의 궤적을 형성한다.
• 상자 브랜치는 각 중심점에서 프레임 간의 바운딩 박스 크기를 직접적으로 회귀하여 정밀한 공간 범위 예측을 가능하게 한다.
• 검출된 튜브릿은 표준 매칭 전략을 사용하여 프레임 간에 연결되어 장거리 영상 수준의 액션 튜브를 형성한다.

실험 결과

연구 질문

• RQ1 액션을 이동하는 점들의 궤적으로 모델링하면 더 단순하고 효율적이며 정확도가 높은 튜브릿 탐지 프레임워크를 구축할 수 있는가?
• RQ2 운동 정보를 활용하면 특히 높은 IoU 임계값에서 국소화 정밀도가 향상되는가?
• RQ3 앵커프리, 원스테이지 탐지기가 스페로타임포지션 액션 탐지에서 앵커 기반 및 두 스테이지 탐지기들을 초월할 수 있는가?
• RQ4 제안된 MOC-Detector는 JHMDB 및 UCF101-24와 같은 표준 벤치마크에서 최신 기준 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 이중 스트림 융합과 사전 훈련이 정확도 및 시간적 국소화에 어떤 영향을 미치는가?

주요 결과

• MOC-Detector는 JHMDB와 UCF101-24 양 쪽에서 최신 기준 성능을 달성하였으며, UCF101-24에서 사전 훈련한 후 0.5:0.95 IoU 기준으로 75.0%의 비디오-mAP를 기록하였다.
• JHMDB에서 모델은 0.5 IoU 기준으로 80.7%의 프레임-mAP@0.5와 0.75 IoU 기준으로 80.5%의 성능을 기록하였으며, 기존의 두 스테이지 3D-백본 방법들보다 훨씬 낮은 GFLOPs를 사용하였다.
• 기존 방법들과의 성능 격차는 특히 높은 IoU 임계값(예: 0.75)에서 두드러지며, 뛰어난 국소화 정밀도를 입증한다.
• 모델는 약 25 FPS로 실행되어, 완전히 컨volutional인 원스테이지 아키텍처 덕분에 높은 추론 효율성을 보였다.
• 오류 분석 결과, UCF101-24에서는 시간 오차(10.18%)가 주요 오류 유형이었고, JHMDB에서는 분류 오차(25.43%)가 가장 흔한 오류 유형이었으며, 이는 시간 경계 모델링 향상 여지가 있음을 시사한다.
• 이중 스트림 융합은 분류 및 누락 탐지 성능을 향상시키지만, 약간의 시간적 국소화 성능 저하를 야기하여 융합 설계에서의 상충 관계를 보여준다.