[논문 리뷰] Temporal Relational Reasoning in Videos

Bolei Zhou, Alex Andonian외 2명|arXiv (Cornell University)|2017. 11. 22.

Human Pose and Action Recognition참고 문헌 26인용 수 33

한 줄 요약

이 논문은 다중 시간스케일에서 영상 프레임 간의 시간적 관계를 학습하고 추론할 수 있도록 하는 플러그 앤 플레이 모듈인 시간관계망(TRN)을 소개한다. TRN은 오직 희소한 RGB 프레임만을 사용하여 Something-Something, Jester, Charades와 같은 활동 인식 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 광학 흐름이나 밀도 프레임이 없을 경우에도 장기적·단기적 시간적 의존성을 효과적으로 포착할 수 있다는 점에서 이중 스트림 및 3D CNN보다 뛰어나다. 이는 영상에서 해석 가능한 시각적 일반 지식을 발견함으로써 가능하다.

ABSTRACT

Temporal relational reasoning, the ability to link meaningful transformations of objects or entities over time, is a fundamental property of intelligent species. In this paper, we introduce an effective and interpretable network module, the Temporal Relation Network (TRN), designed to learn and reason about temporal dependencies between video frames at multiple time scales. We evaluate TRN-equipped networks on activity recognition tasks using three recent video datasets - Something-Something, Jester, and Charades - which fundamentally depend on temporal relational reasoning. Our results demonstrate that the proposed TRN gives convolutional neural networks a remarkable capacity to discover temporal relations in videos. Through only sparsely sampled video frames, TRN-equipped networks can accurately predict human-object interactions in the Something-Something dataset and identify various human gestures on the Jester dataset with very competitive performance. TRN-equipped networks also outperform two-stream networks and 3D convolution networks in recognizing daily activities in the Charades dataset. Further analyses show that the models learn intuitive and interpretable visual common sense knowledge in videos.

연구 동기 및 목표

• 깊이 신경망이 인간의 행동과 상호작용을 이해하는 데 필수적인 영상 프레임 간의 시간적 관계를 추론할 수 있도록 하는 것.
• 광학 흐름이나 밀도 프레임이 제공되지 않을 경우 장기적·단기적 시간적 의존성을 포착하는 데에 한계가 있는 기존 모델의 문제점을 해결하는 것.
• 어떤 CNN 아키텍처에나 쉽게 통합할 수 있는 일반적이고 효율적이며 해석 가능한 모듈을 개발하는 것.
• 희소한 프레임 샘플링 조건에서도 시간적 변환에서 시각적 일반 지식을 학습할 수 있음을 보여주는 것.

제안 방법

• TRN은 다중 시간스케일에서 영상 프레임 쌍을 처리하며, ReLU 활성화 함수를 갖는 완전 연결층을 사용하여 그 간의 시간적 관계를 분류한다.
• 네트워크는 다수의 프레임 쌍 간의 관계를 집계하는 '관계 풀링' 메커니즘을 사용하여 장거리 시간적 의존성을 모델링할 수 있다.
• TRN은 표준 2D CNN에 플러그 앤 플레이 방식으로 적용되어 아키텍처의 대대적인 수정 없이도 엔드 투 엔드 학습이 가능하다.
• 학습된 시간적 관계를 활용하여 영상의 첫 번째 몇 프레임만으로도 조기 활동 인식이 가능하다.
• 다양한 네트워크 단계에 다중 TRN 모듈을 스택하여 계층적인 시간적 관계를 포착한다.
• 데이터 증강 및 프레임 샘플링 전략을 활용하여 일반화 능력을 향상시키기 위해 활동 분류에 대해 교차 엔트로피 손실을 사용하여 모델을 학습한다.

실험 결과

연구 질문

• RQ1 광학 흐름이나 3D 컨볼루션에 의존하지 않고도, TRN과 같은 단순하고 해석 가능한 모듈이 영상에서 시간적 관계를 효과적으로 학습하고 추론할 수 있는가?
• RQ2 TRN은 시간에 따라 물체 간의 변형과 상호작용을 이해해야 하는 활동 인식 작업에서 얼마나 향상된 성능을 보일 수 있는가?
• RQ3 TRN은 영상의 첫 25퍼센트 프레임만으로도 조기 활동 인식을 가능하게 할 수 있는가?
• RQ4 TRN은 인간의 시간적 순서에 대한 직관적인 이해를 반영하는 시각적 일반 지식을 학습하는가?

주요 결과

• TRN이 탑재된 네트워크는 오직 8개의 프레임만을 사용하여 Something-Something 데이터셋에서 34.44%의 정확도를 달성했으며, 기준값 19.53%보다 뚜렷한 향상이 있었다.
• Jester 데이터셋에서는 TRN이 기준값 85.41%에서 95.31%의 정확도로 향상되어 손짓 인식에 대해 강력한 일반화 능력을 보였다.
• Charades 데이터셋에서 TRN은 이중 스트림 및 3D 컨volution 네트워크를 모두 초월하여 TR 풀링 전략을 사용해 25.20%의 정확도를 기록했다.
• t-SNE 시각화 결과, TRN 모델의 특징은 특히 5프레임 TRN에서 활동 클래스 간에 더 잘 분리되어 있음을 보여주며, 더 나은 표현 학습 능력을 의미한다.
• 조기 인식 실험 결과, TRN은 Something-Something에서 첫 50퍼센트의 프레임만으로도 19.10%의 정확도로 행동을 예측할 수 있었으며, 단일 프레임 기준값 10.10%보다 높았다.
• 정성적 결과는 TRN이 첫 25퍼센트의 프레임에서조차도 학습된 시각적 일반 지식을 바탕으로 합리적인 미래 행동 예측을 생성할 수 있음을 보여주었다.