[논문 리뷰] Actionness Estimation Using Hybrid Fully Convolutional Networks

Limin Wang, Yu Qiao외 2명|arXiv (Cornell University)|2016. 04. 25.

Human Pose and Action Recognition참고 문헌 46인용 수 21

한 줄 요약

이 논문은 별도의 외관(외관) (A-FCN) 및 운동(M-FCN) 완전 컨volution 블록을 통해 외관 및 운동 신호를 융합함으로써 행동성 추정을 위한 하이브리드 완전 컨볼루션 네트워크(H-FCN)를 제안한다. 이 방법은 스탠포드40, 유에프스포츠, JHMDB에서 최신 기술 수준(SOTA) 성능을 달성하며, 프레임당 4~10개의 제안만으로도 0.5 IoU 임계값에서 0.9 재현율을 달성함으로써 행동 제안 생성 및 행동 검출을 크게 향상시킨다.

ABSTRACT

Actionness was introduced to quantify the likelihood of containing a generic action instance at a specific location. Accurate and efficient estimation of actionness is important in video analysis and may benefit other relevant tasks such as action recognition and action detection. This paper presents a new deep architecture for actionness estimation, called hybrid fully convolutional network (H-FCN), which is composed of appearance FCN (A-FCN) and motion FCN (M-FCN). These two FCNs leverage the strong capacity of deep models to estimate actionness maps from the perspectives of static appearance and dynamic motion, respectively. In addition, the fully convolutional nature of H-FCN allows it to efficiently process videos with arbitrary sizes. Experiments are conducted on the challenging datasets of Stanford40, UCF Sports, and JHMDB to verify the effectiveness of H-FCN on actionness estimation, which demonstrate that our method achieves superior performance to previous ones. Moreover, we apply the estimated actionness maps on action proposal generation and action detection. Our actionness maps advance the current state-of-the-art performance of these tasks substantially.

연구 동기 및 목표

• 영상에서 행동을 국소화하지 못하는 행동 분류 방법의 한계를 해결하기 위해.
• 계산 비용이 큰 슬라이딩 윈도우 방법을 피하면서도 효율적으로 고품질의 행동 제안을 생성함으로써 행동 검출을 향상시키기 위해.
• 임의의 입력 크기를 갖는 행동성 맵을 완전 컨볼루션 아키텍처를 사용하여 통합된 딥 러닝 프레임워크로 추정하기 위해.
• 행동성 맵이 행동 검출 및 인식과 같은 후속 작업에 효과적인 특징으로 사용될 수 있음을 입증하기 위해.

제안 방법

• H-FCN 아키텍처는 두 개의 완전 컨볼루션 네트워크를 조합한다: A-FCN는 RGB 프레임을 처리하여 정적 외관 특징을 추출하고, M-FCN는 광학 흐름 필드를 처리하여 시간적 운동 다이내믹스를 캡처한다.
• A-FCN와 M-FCN는 모두 사전 훈련된 ImageNet 및 UCF101 모델로 초기화되며, 행동성 추정을 위해 엔드 투 엔드로 미세 조정된다.
• A-FCN와 M-FCN에서 유도된 행동성 맵이 융합되어 각 공간 위치에서 행동 존재 가능성의 종합적 신뢰도 맵을 생성한다.
• 완전 컨볼루션 설계 덕분에 고정된 입력 크기 제약 없이 어떤 해상성의 영상 프레임도 처리할 수 있다.
• 행동 제안은 추정된 행동성 맵에 대해 임계값 설정 및 비최대 억제(NMS)를 통해 생성된다.
• 이 방법은 RCNN 유사 검출 프레임워크에서 평가되며, 행동 제안을 영역 후보로 사용하여 행동 분류를 수행한다.

실험 결과

연구 질문

• RQ1 통합된 딥 러닝 프레임워크 내에서 외관 및 운동 신호를 융합함으로써 하이브리드 완전 컨볼루션 네트워크가 행동성을 효과적으로 추정할 수 있는가?
• RQ2 제안된 H-FCN는 국소화 정확도와 효율성 측면에서 기존의 행동성 추정 방법과 비교해 어떻게 성능을 내는가?
• RQ3 추정된 행동성 맵이 실제 영상 데이터셋에서 행동 제안 생성 및 행동 검출 성능 향상에 어느 정도 기여하는가?
• RQ4 외관 및 운동 특징을 융합하는 것이 단일 모odal(모달)을 사용하는 것보다 더 높은 성능을 내는가?

주요 결과

• 스탠포드40 데이터셋에서 제안된 방법은 프레임당 10개의 행동 제안으로만 0.5 IoU 임계값에서 0.9 재현율을 달성하며, L-CORF 및 오브제크트니스 방법을 능가한다.
• JHMDB 데이터셋에서 이 방법은 프레임당 10개의 제안으로 0.7 IoU 임계값에서 0.5~0.6의 검출률을 달성하여 뛰어난 국소화 정확도를 보였다.
• A-FCN와 M-FCN의 조합은 각각의 스트림만 사용할 때보다 더 높은 성능을 내며, JHMDB에서 A-FCN가 M-FCN보다 더 강력한 성능을 보였다.
• 이 방법은 영상 데이터셋에서 최근의 STODP 행동 제안 방법보다 큰 격차로 승리했다.
• 행동 검출에서, 이 방법은 최신 기술 수준의 방법 [11]보다 프레임-AP와 비디오-AP를 각각 약 3% 향상시켰으며, 튜브 수준 검출을 위해 시간적 연결을 사용할 경우 15%의 뚜렷한 향상이 있었다.
• 행동성 맵은 높은 재현율을 유지하면서도 필요한 제안 수를 크게 줄여주며, 후속 영상 이해 작업에 효과적임을 입증했다.