[논문 리뷰] IF-TTN: Information Fused Temporal Transformation Network for Video Action Recognition

Ke Yang, Peng Qiao외 2명|arXiv (Cornell University)|2019. 02. 26.

Human Pose and Action Recognition참고 문헌 31인용 수 7

한 줄 요약

이 논문은 정보 융합 모듈(IFM)을 통해 여러 컨볼루션 네트워크 수준에서 외관 및 운동 특징을 융합하고, 시간적 변환 네트워크(TTN)를 사용해 영상 스니펫 간 중기적 시간적 변환을 모델링하는 IF-TTN이라는 비디오 동작 인식 모델을 제안한다. 이 방법은 UCF101(96.2%)과 HMDB51(74.8%)에서 최신 기준(SOTA) 성능을 달성하며, 운동 벡터를 사용해 실시간 추론을 가능하게 하여 UCF101에서 142 fps, 94.5% 정확도를 기록했으며, 광학 흐름 기반 방법 대비 10배 빠른 성능을 보였다.

ABSTRACT

Effective spatiotemporal feature representation is crucial to the video-based action recognition task. Focusing on discriminate spatiotemporal feature learning, we propose Information Fused Temporal Transformation Network (IF-TTN) for action recognition on top of popular Temporal Segment Network (TSN) framework. In the network, Information Fusion Module (IFM) is designed to fuse the appearance and motion features at multiple ConvNet levels for each video snippet, forming a short-term video descriptor. With fused features as inputs, Temporal Transformation Networks (TTN) are employed to model middle-term temporal transformation between the neighboring snippets following a sequential order. As TSN itself depicts long-term temporal structure by segmental consensus, the proposed network comprehensively considers multiple granularity temporal features. Our IF-TTN achieves the state-of-the-art results on two most popular action recognition datasets: UCF101 and HMDB51. Empirical investigation reveals that our architecture is robust to the input motion map quality. Replacing optical flow with the motion vectors from compressed video stream, the performance is still comparable to the flow-based methods while the testing speed is 10x faster.

연구 동기 및 목표

• 여러 네트워크 수준에서 외관 및 운동 특징을 효과적으로 융합함으로써 비디오 동작 인식에서 시공간 특징 표현을 향상시키는 것.
• 비디오 스니펫 간 중기적 시간적 변환을 모델링하여 단기적 기술자와 장기적 공감대를 넘어서는 역동적 변화를 포착하는 것.
• 저품질의 운동 입력에 대해 강건한 아키텍처를 개발하여 실시간 구현이 가능한 실용적인 시스템을 구축하는 것.
• 기본 벤치마크에서 최신 기준 성능을 달성하면서도 광학 흐름 기반 방법 대비 추론 속도를 크게 향상시키는 것.

제안 방법

• 각 비디오 스니펫에 대해 여러 컨볼루션 네트워크 수준에서 외관 및 운동 특징을 연결하고 정제하는 정보 융합 모듈(IFM)을 설계하여 단기적 비디오 기술자를 통합된 형태로 생성한다.
• 이웃하는 비디오 스니펫 간의 순차적 변환을 모델링하기 위해 시간적 변환 네트워크(TTN)를 도입하여 중기적 시간적 동역학을 학습한다.
• TTN은 두 개의 인접한 스니펫에서 유래한 특징을 처리하여 그들 사이의 변환을 학습함으로써 운동 궤적과 객체 상태 변화를 포착한다.
• IF-TTN 프레임워크는 IFM과 TTN을 엔드 투 엔드로 훈련 가능한 방식으로 통합하여 단기적 특징 융합, 중기적 시간 모델링, TSN에서 유도된 장기적 세그먼트 공감대를 결합한다.
• 광학 흐름 대신 압축된 비디오 스트림에서 유도된 운동 벡터를 사용함으로써 실시간 추론을 가능하게 하며, 정확도 저하 없이 구현한다.
• DeepDraw를 통한 클래스 시각화 결과, TTN이 스니펫 간 의미 있는 시간적 전이를 학습하고 있음을 확인할 수 있었으며, 예를 들어 뛰기 동작에서 공중으로 떠오르는 순간에서 매트에 착지하는 순간으로의 전이가 포함된다.

실험 결과

연구 질문

• RQ1 여러 네트워크 수준에서 외관 및 운동 특징을 통합함으로써 비디오 동작 인식에서 분류 성능 향상이 가능한가?
• RQ2 이웃하는 비디오 스니펫 간의 시간적 변환을 모델링함으로써 단기적 스니펫 기술자와 장기적 세그먼트 공감대를 넘어서는 중기적 시간 모델링이 향상되는가?
• RQ3 운동 벡터를 광학 흐름 대신 사용할 경우, 제안된 방법의 성능에 어떤 영향을 미치는가? 즉, 저품질의 운동 입력에 대해 얼마나 강건한가?
• RQ4 모델은 최신 기준 정확도를 달성하면서도 최소한의 계산 비용으로 실시간 추론을 수행할 수 있는가?

주요 결과

• IF-TTN은 UCF101에서 96.2%, HMDB51에서 74.8%의 최신 기준 정확도를 기록하여 이전의 방법들, 예를 들어 I3D와 Two-Stream TSN를 모두 능가했다.
• 운동 벡터를 사용하는 실시간 변형(MV-IF-TTN)은 UCF101에서 94.5%의 정확도를 기록했으며, 이는 이전의 실시간 방법을 능가하고 광학 흐름 기반 모델의 성능과도 유사했다.
• MV-IF-TTN는 단일 코어 CPU에서 142 fps로 실행되어 광학 흐름 기반 TSN 대비 10배 빠른 성능을 보였으며, 경쟁 가능한 정확도를 유지했다.
• 광학 흐름 대신 운동 벡터를 사용할 경우 정확도가 0.6% 뿐 떨어지며, 이는 운동 입력 품질에 대해 매우 높은 강건성을 보임을 시사한다.
• 클래스 시각화 결과, TTN이 스니펫 간 의미 있는 시간적 전이를 학습하고 있음을 확인할 수 있었으며, 예를 들어 고도도 경기에서 달리기에서 착지로의 전이가 포함된다.
• 다중 수준 특징 융합과 순차적 시간 모델링의 조합은 고품질 운동 입력에 대한 의존도를 크게 감소시켜 실시간 시스템에서의 실용적 구현을 가능하게 했다.