[논문 리뷰] Temporal Pyramid Network for Action Recognition

Ceyuan Yang, Yinghao Xu외 3명|arXiv (Cornell University)|2020. 04. 07.

Human Pose and Action Recognition참고 문헌 46인용 수 23

한 줄 요약

이 논문은 입력 수준의 프레임 피라미드 없이도 2D 및 3D 백본이 다양한 시간적 스케일에서 행동을 인식할 수 있도록 기능 수준에서 행동 인스턴스의 시각적 템포를 포착하는 일반적인 시간 피라미드 네트워크(TPN)를 제안한다. TPN은 3D ResNet-50를 사용할 때 Kinetics-400에서 2%의 정확도 향상을 달성하며, 높은 시각적 템포 분산을 보이는 행동 클래스에서 가장 뚜렷한 성능 향상을 보이며, 동적 시간 동적 특성을 모델링하는 데의 효과성을 입증한다.

ABSTRACT

Visual tempo characterizes the dynamics and the temporal scale of an action. Modeling such visual tempos of different actions facilitates their recognition. Previous works often capture the visual tempo through sampling raw videos at multiple rates and constructing an input-level frame pyramid, which usually requires a costly multi-branch network to handle. In this work we propose a generic Temporal Pyramid Network (TPN) at the feature-level, which can be flexibly integrated into 2D or 3D backbone networks in a plug-and-play manner. Two essential components of TPN, the source of features and the fusion of features, form a feature hierarchy for the backbone so that it can capture action instances at various tempos. TPN also shows consistent improvements over other challenging baselines on several action recognition datasets. Specifically, when equipped with TPN, the 3D ResNet-50 with dense sampling obtains a 2% gain on the validation set of Kinetics-400. A further analysis also reveals that TPN gains most of its improvements on action classes that have large variances in their visual tempos, validating the effectiveness of TPN.

연구 동기 및 목표

• 기존의 비디오 행동 인식 모델에서 시각적 템포 분산을 명시적으로 모델링하지 못하는 문제를 해결하기 위해.
• 비용이 많이 드는 다중 브랜치 입력 수준의 프레임 피라미드 없이도, 다양한 시간적 동적 특성(계층 간 및 계층 내 변동성)을 가진 행동을 인식할 수 있도록 하기 위해.
• 2D 및 3D 백본을 강화하기 위해 기능 수준에서 다양한 시간 스케일의 특징을 융합하는 즉시 사용 가능한 모듈을 개발하기 위해.
• 실험적으로 TPN이 높은 시각적 템포 분산을 보이는 행동 클래스에서 성능 향상이 가장 두드러지게 나타남을 검증하기 위해.

제안 방법

• 단일 백본 네트워크의 다양한 깊이에서 유도된 특징을 융합하여 기능 수준의 시간 피라미드를 제안하며, 다양한 속도로 입력 프레임을 샘플링하는 입력 수준의 프레임 피라미드를 피하기 위해.
• 빠른 템포와 느린 템포의 동적 특성을 모두 포착하기 위해 백본의 여러 스테이지에서 유도된 특징을 계층적으로 융합하는 전략을 사용한다.
• 각 행동 인스턴스의 시각적 템포 분산을 측정하기 위해 프레임 단위의 분류 확률 곡선의 전반적 너비 절반 최대(FWHM)를 사용한다.
• 아키텍처 변경 없이 2D 및 3D 모델(예: I3D, ResNet-50)에 보조 모듈로 TPN을 적용하여 즉시 사용 가능한 통합을 가능하게 한다.
• 다양한 스트라이드로 입력 프레임을 재샘플링하여, 시각적 템포 변동성에 대한 강건성을 평가하기 위해 다중 스케일 추론 프로토콜을 활용한다.
• 성능 향상과 행동 카테고리 간의 시각적 템포 분산 간 상관관계를 정량화하기 위해 최소 제곱 근사법을 적용한다.

실험 결과

연구 질문

• RQ1 다중 브랜치 입력 수준의 프레임 피라미드가 필요 없이 기능 수준의 시간 피라미드가 행동 인식 정확도 향상에 기여할 수 있는가?
• RQ2 TPN은 다양한 2D 및 3D 백본 아키텍처에서 일관된 성능 향상을 보이는가?
• RQ3 TPN의 성능 향상이 높은 시각적 템포 분산을 보이는 행동 클래스에서 가장 두드러지는가?
• RQ4 다른 연기자 속도로 인한 시각적 템포 변동성과 같은 요인에 대해 TPN은 얼마나 강건한가?
• RQ5 TPN은 실제 행동 데이터셋에서 계층 간 및 계층 내 시각적 템포 분산을 효과적으로 모델링할 수 있는가?

주요 결과

• 밀도 있는 샘플링(32×2)을 사용할 때, 3D ResNet-50와 결합된 TPN은 Kinetics-400 검증 세트에서 2%의 정확도 향상을 달성한다.
• 성능 향상이 높은 시각적 템포 분산을 보이는 행동 클래스에서 가장 두드러지며, 정확도 향상과 템포 분산 간의 양의 상관관계로 확인된다.
• I3D-50 + TPN은 시각적 템포 변동성에 대해 향상된 강건성을 보이며, 기준 모델 대비 다양한 프레임 샘플링 속도(예: 8×2에서 8×16) 간 성능 저하가 더 적다.
• 모델 기반의 FWHM 측정은 시각적 템포 분산을 효과적으로 포착하며, '선회기'는 가장 높은 분산을, '양 빼는 것'은 가장 낮은 분산을 보였다.
• 더 밀도 높은 입력 샘플링(32×2)은 I3D-50에서 과적합을 유도하지만, TPN을 추가함으로써 과적합이 완화되고 일관된 성능 향상이 유지된다.
• 제거 실험 결과, TPN의 성능 향상 요인이 아키텍처 변경 자체가 아니라 단일 모델 내에서 다양한 시각적 템포를 모델링할 수 있는 능력에서 비롯됨을 확인한다.