[논문 리뷰] TURN TAP: Temporal Unit Regression Network for Temporal Action Proposals

Jiyang Gao, Zhenheng Yang외 3명|arXiv (Cornell University)|2017. 03. 17.

Human Pose and Action Recognition인용 수 63

한 줄 요약

TURN TAP은 시작/끝 유닛을 회귀(regress)하여 시간적 액션 제안을 빠르고 엔드-투-엔드로 생성하는 Temporal Unit Regression Network를 제안하며, 최첨단 TAP 성능과 높은 추론 속도, 그리고 시간적 액션 로컬라이제이션 파이프라인의 개선을 달성합니다.

ABSTRACT

Temporal Action Proposal (TAP) generation is an important problem, as fast and accurate extraction of semantically important (e.g. human actions) segments from untrimmed videos is an important step for large-scale video analysis. We propose a novel Temporal Unit Regression Network (TURN) model. There are two salient aspects of TURN: (1) TURN jointly predicts action proposals and refines the temporal boundaries by temporal coordinate regression; (2) Fast computation is enabled by unit feature reuse: a long untrimmed video is decomposed into video units, which are reused as basic building blocks of temporal proposals. TURN outperforms the state-of-the-art methods under average recall (AR) by a large margin on THUMOS-14 and ActivityNet datasets, and runs at over 880 frames per second (FPS) on a TITAN X GPU. We further apply TURN as a proposal generation stage for existing temporal action localization pipelines, it outperforms state-of-the-art performance on THUMOS-14 and ActivityNet.

연구 동기 및 목표

• 롱 비정지 영상에서 Temporal Action Proposals(TAP)의 효율적이고 정확한 생성을 동기화한다.
• 회귀를 통해 경계에 민감한 TAP 프레임워크를 도입한다.
• 클립 기반 제안을 구축하기 위해 유닛 수준 특성을 재사용하여 계산를 감소시킨다.
• TURN의 제안 단계가 시간적 액션 로컬라이제이션을 향상시키는 효과를 보여준다.
• 데이터셋 간 일반화 능력(THUMOS-14, ActivityNet)을 미세조정 없이 시연한다.

제안 방법

• 비디오를 중첩되지 않는 유닛 윈도우로 분해하고 유닛 수준 특징(예: C3D, 흐름 CNN)을 추출한다.
• 클립의 맥락을 포함하기 전에/후에 인접한 유닛을 여러 시간 축으로 풀링하여 클립 피라미드를 생성한다.
• 각 클립을 제안 후보로 취급하고 시작/끝 유닛 인덱스에 대한 신뢰도 점수와 두 개의 회귀 오프셋을 출력한다.
• 양성 클립에 대해 소프트맥스 분류와 L1 좌표 회귀를 결합한 다중 작업 손실로 학습한다.
• 점수 산정/회귀 후 중복 제안을 제거하기 위해 비-최대 억제(NMS)를 사용한다.
• 새로운 AR-F 지표(제안 빈도에 따른 재현율)로 TAP 품질을 평가하고 AR-N/AR-AN 지표와 비교한다.

실험 결과

연구 질문

• RQ1 유닛 수준의 시간 경계 회귀가 속도를 희생하지 않으면서 TAP의 정밀도를 향상시킬 수 있는가?
• RQ2 다중 스케일의 클립 피라미드와 시간 맥락이 TAP 재현율과 로컬라이제이션 성능을 개선하는가?
• RQ3 TURN은 미세조정 없이도 서로 다른 액션 데이터셋과 부분집합에서 일반화되는가?
• RQ4 AR-F가 데이터셋 간 TAP 비교를 위한 더 신뢰할 수 있는 평가 지표인가? AR-AN이나 AR-N보다?
• RQ5 기존의 시간적 액션 로컬라이제이션 파이프라인에서 제안 단계로 TURN을 사용할 때 어떤 영향이 있는가?

주요 결과

• TURN은 THUMOS-14 및 ActivityNet에서 AR-F와 AR-AN 조건하에 최첨단 TAP 성능을 달성한다.
• TURN은 C3D 특징을 사용 시 880 FPS 이상, 흐름 CNN 특징으로는 단일 TITAN X GPU에서 260 FPS로 실행된다.
• 유닛 수준의 시간 좌표 회귀는 경계를 프레임 수준 또는 회귀 없음보다 더 잘 다듬으며, 특히 시간 맥락과 결합될 때 그렇다.
• TURN은 ActivityNet 하위 세트 및 THUMOS-14에 대해 데이터셋 특이적 미세조정 없이도 잘 일반화된다.
• TURN 제안을 S-CNN 또는 SVM 분류기와 함께 사용할 때 THUMOS-14에서와 같이 시간 로컬라이제이션 mAP를 개선한다.
• TURN은 영상 길이에 따라 여전히 높은 상관관계를 보이는 새로운 AR-F 지표를 제안하며(로컬라이제이션 성능과의 상관관계 대략 0.9 이상) 있다.