[논문 리뷰] AMTnet: Action-Micro-Tube Regression by End-to-end Trainable Deep Architecture

Suman Saha, Gurkirt Singh외 1명|arXiv (Cornell University)|2017. 04. 17.

Human Pose and Action Recognition참고 문헌 35인용 수 9

한 줄 요약

AMTnet는 두 개의 연속 프레임을 아우르는 액션-마이크로튜브(3D 비디오 제안)를 RGB 외관 정보만으로 회귀 및 분류하는 엔드 투 엔드 학습 가능한 3D 영역 제안 네트워크(3D-RPN)를 제안한다. 이는 튜브 조립을 위한 후처리를 생략하며, 공간적 및 시간적 국소화를 동시에 최적화함으로써 J-HMDB-21 및 UCF-101에서 최신 기준 성능을 달성하고, 학습 시간을 50% 감소시킨다.

ABSTRACT

Dominant approaches to action detection can only provide sub-optimal solutions to the problem, as they rely on seeking frame-level detections, to later compose them into "action tubes" in a post-processing step. With this paper we radically depart from current practice, and take a first step towards the design and implementation of a deep network architecture able to classify and regress whole video subsets, so providing a truly optimal solution of the action detection problem. In this work, in particular, we propose a novel deep net framework able to regress and classify 3D region proposals spanning two successive video frames, whose core is an evolution of classical region proposal networks (RPNs). As such, our 3D-RPN net is able to effectively encode the temporal aspect of actions by purely exploiting appearance, as opposed to methods which heavily rely on expensive flow maps. The proposed model is end-to-end trainable and can be jointly optimised for action localisation and classification in a single step. At test time the network predicts "micro-tubes" encompassing two successive frames, which are linked up into complete action tubes via a new algorithm which exploits the temporal encoding learned by the network and cuts computation time by 50%. Promising results on the J-HMDB-21 and UCF-101 action detection datasets show that our model does outperform the state-of-the-art when relying purely on appearance.

연구 동기 및 목표

• 현재의 행동 검출 프레임워크가 프레임 수준의 검출 및 후처리를 통해 튜브 조립을 수행하는 데 있어 최적화되지 않은 점을 해결하기 위해.
• 연속된 두 프레임을 아우르는 3D 비디오 영역 제안(마이크로튜브)를 동시에 회귀 및 분류할 수 있는 딥 러닝 아키텍처를 설계하기 위해.
• 광학 흐름에 의존하지 않고도 행동 분류 및 3D 경계 상자 회귀를 동시에 최적화할 수 있도록 엔드 투 엔드 학습이 가능한 네트워크를 설계하기 위해.
• 후처리 기반의 히우리스틱한 시간 연결을 학습된 시간 연결 알고리즘으로 대체하여 테스트 시 계산량을 50% 감소시키기 위해.
• 시간 모델링을 네트워크 아키텍처에 직접 통합함으로써 오직 외관 특징(RGB)만으로도 광학 흐름을 보완한 방법을 능가할 수 있음을 입증하기 위해.

제안 방법

• 네트워크는 두 개의 병렬 VGG-16 백본을 통해 연속된 RGB 프레임 쌍을 처리하여 깊은 특징을 추출한다.
• 융합된 특징 맵에 3D-RPN을 적용하여 액션성 점수를 함께 갖춘 3D 영역 제안(마이크로튜브)를 생성한다.
• 제안 샘플링은 IoU 임계값 기반으로 양성 및 음성 3D 제안을 선택하여 액션성 및 회귀 손실의 동시 학습을 가능하게 한다.
• 이중 특징 풀링과 요소별 특징 융합을 통해 각 3D 제안에 대해 고정된 크기의 표현을 생성하고, 이를 완전 연결층으로 분류 및 회귀에 전달한다.
• 테스트 시, 학습 중에 학습된 시간 인코딩을 기반으로 예측된 마이크로튜브를 새로운 액션 튜브 생성기가 연결함으로써 계산량을 50% 감소시킨다.
• 전체 네트워크는 엔드 투 엔드 학습이 가능하며, 단일 순방향 전파에서 행동 분류 및 3D 튜브 회귀를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 두 프레임을 아우르는 3D 비디오 영역 제안을 동시에 회귀 및 분류함으로써 후처리 튜브 조립이 필요 없어지는가?
• RQ2 오직 RGB 외관 특징만으로도 시간적 의존성을 직접 학습할 경우, 광학 흐름에 의존하는 방법보다 성능이 뛰어나지 않는가?
• RQ3 명시적인 운동 모델링 없이도 3D-RPN 아키텍처가 오직 외관 특징만으로 공간-시간 역동성을 효과적으로 인코딩할 수 있는가?
• RQ4 표준 벤치마크에서 엔드 투 엔드 3D 제안 네트워크의 성능이 최신 기준 이중 단계 프레임워크와 비교해 어떻게 되는가?
• RQ5 학습된 시간 연결 전략이 검출 정확도를 유지하거나 향상시키면서도 테스트 시 계산량을 줄일 수 있는가?

주요 결과

• AMTnet는 광학 흐름을 사용하지 않고도 오직 RGB 입력만으로도 J-HMDB-21 및 UCF-101 데이터셋에서 최신 기준 성능을 달성한다.
• J-HMDB-21에서 테스트 시 추론 시간이 1개 비디오당 8.5초로 단축되어 [8], [38], [26]보다 빠른 속도를 기록한다.
• UCF-101에서 학습 시간은 4일로 단축되어 [8] 및 [38]보다 2일을 절감한다.
• 모델은 장시간 동안의 행동(예: 비디오 58~107 프레임에서 발생하는 '볼레리볼 스파이크')을 포함한 트림되지 않은 비디오에서도 행동을 성공적으로 탐지하며, 정답 튜브에 매우 가까운 결과를 도출한다.
• 운동 블러, 조명 변화, 클래스 간 유사성(예: '서기' vs '앉기') 등의 도전적인 조건에서도 일반화 능력이 뛰어나다.
• 모델은 척도 변화 및 부분적 가림에 대해 강건하며, 더 작은 크기이거나 부분적으로 가려진 행동 인스턴스도 정확히 탐지한다.