[논문 리뷰] Exploring Temporal Preservation Networks for Precise Temporal Action Localization

Ke Yang, Peng Qiao외 3명|arXiv (Cornell University)|2017. 08. 10.

Human Pose and Action Recognition인용 수 33

한 줄 요약

이 논문은 3D ConvNet 추론 중에 전체 시간 해상도를 유지함으로써 비정형 영상에서 정밀한 프레임 수준 동작 로컬라이제이션을 가능하게 하는 시간 보존 컨볼루션(TPC) 네트워크를 제안한다. 이전 방법들이 디컨볼루션 업샘플링을 사용하는 것과 달리(TPC), TPC 필터는 확장된 수신 필드를 가진 스트라이드된 시간 컨볼루션을 통해 시간 정보를 유지하며, 최소한의 시간 정보 손실로 프레임 수준 및 세그먼트 수준 시간 동작 로컬라이제이션에서 최신 기술 성능을 달성한다.

ABSTRACT

Temporal action localization is an important task of computer vision. Though a variety of methods have been proposed, it still remains an open question how to predict the temporal boundaries of action segments precisely. Most works use segment-level classifiers to select video segments pre-determined by action proposal or dense sliding windows. However, in order to achieve more precise action boundaries, a temporal localization system should make dense predictions at a fine granularity. A newly proposed work exploits Convolutional-Deconvolutional-Convolutional (CDC) filters to upsample the predictions of 3D ConvNets, making it possible to perform per-frame action predictions and achieving promising performance in terms of temporal action localization. However, CDC network loses temporal information partially due to the temporal downsampling operation. In this paper, we propose an elegant and powerful Temporal Preservation Convolutional (TPC) Network that equips 3D ConvNets with TPC filters. TPC network can fully preserve temporal resolution and downsample the spatial resolution simultaneously, enabling frame-level granularity action localization. TPC network can be trained in an end-to-end manner. Experiment results on public datasets show that TPC network achieves significant improvement on per-frame action prediction and competing results on segment-level temporal action localization.

연구 동기 및 목표

• 기존 방법들이 다운샘플링으로 인해 시간 정보를 상실하는 비정형 영상에서 정밀한 시간 동작 로컬라이제이션의 과제를 해결한다.
• 디컨볼루션으로 인한 시간 정보 손실과 셰이크스패턴 아티팩트를 야기하는 컨볼루션-디컨볼루션(CDC) 네트워크의 한계를 극복한다.
• 후처리 업샘플링이나 디컨볼루션 계층에 의존하지 않고 3D 컨볼루션 네트워크의 엔드 투 엔드 훈련을 가능하게 한다.
• 사전 훈련된 모델의 시간 수신 필드를 유지하면서 추론 중에 전체 시간 해상도를 유지한다.
• 최소한의 아키텍처 수정으로도 프레임 수준 및 세그먼트 수준 동작 로컬라이제이션 작업에서 뛰어난 성능을 달성한다.

제안 방법

• 컨볼루션 및 풀링 연산 후에도 입력 시간 길이를 유지하는 시간 보존 컨볼루션(TPC) 필터를 도입하여 전체 시간 해상도 유지가 가능하도록 한다.
• 커널 크기를 늘리지 않고도 표준 3D 컨볼루션의 시간 수신 필드를 확장하여, 전체 시간 해상도에서 효과적인 컨텍스트 모델링이 가능하도록 한다.
• C3D의 표준 3D 컨볼루션 레이어를 TPC 필터로 대체하여 TPC 네트워크를 구성하며, 이는 엔드 투 엔드 훈련을 통해 프레임 수준 동작 분류에 사용할 수 있다.
• TPC에서의 프레임 수준 예측을 사용하여 S-CNN가 생성한 동작 세그먼트 경계를 정밀화함으로써 세그먼트 수준 로컬라이제이션 정확도를 향상시킨다.
• 최종 완전 연결 레이어를 전역 평균 풀링으로 대체하여 파arameter를 5배 줄이는 TPC-GAP 버전을 구현한다. 이는 경쟁적인 성능 유지와 함께 효율성을 높인다.
• 전치 컨볼루션(트랜스포즈드 컨볼루션)이 필요 없도록 하여 디컨볼루션 기반 업샘플링을 피함으로써 셰이크스패턴 아티팩트를 제거하고 훈련을 단순화한다.

실험 결과

연구 질문

• RQ1 사전 훈련 재학습이 필요 없이 시간 수신 필드를 떨어뜨리지 않고도 3D 컨볼루션 네트워크에서 전체 시간 해상도를 유지할 수 있는가?
• RQ2 표준 3D 컨볼루션을 TPC 필터로 대체하면 CDC 기반 방법에 비해 프레임 수준 동작 로컬라이제이션 성능이 향상되는가?
• RQ3 더 정확한 프레임 수준 예측을 통해 TPC 네트워크가 세그먼트 수준 로컬라이제이션을 개선할 수 있는가?
• RQ4 디컨볼루션 계층이 없는 것이 CDC에 비해 아티팩트를 줄이고 일반화 성능을 향상시키는 데 얼마나 기여하는가?
• RQ5 경량 버전인 TPC-GAP은 훨씬 적은 파라미터로 경쟁적인 성능을 달성할 수 있는가?

주요 결과

• TPC 네트워크는 프레임 수준 동작 로컬라이제이션에서 47.2% mAP를 달성하여 CDC 및 기타 베이스라인을 크게 앞서간다 (THUMOS’14).
• IoU 임계치 0.5에서 TPC는 세그먼트 수준 동작 로컬라이제이션에서 23.6% mAP를 기록하여 강력한 일반화 및 정밀화 능력을 보여준다.
• 모든 IoU 임계치(0.3–0.7)에서 TPC는 CDC보다 프레임 수준 예측에서 승리하며, 이는 더 높은 프레임 수준 정확도를 의미한다.
• TPC는 제안된 프레임 중에서 잘못 분류된 음성 프레임(거짓 음성)에서 성능 향상이 가장 두드러지게 나타나, 모호하거나 배경 세그먼트를 더 잘 다루는 것으로 보인다.
• TPC-GAP 버전은 CDC 대비 파라미터 수를 1/5로 줄였음에도 불구하고 경쟁적인 성능을 달성하여 뛰어난 효율성을 보였다.
• 전치 컨볼루션을 완전히 제거함으로써 TPC는 디컨볼루션 네트워크에서 흔히 발생하는 셰이크스패턴 아티팩트를 피할 수 있었다.