[논문 리뷰] CTAP: Complementary Temporal Action Proposal Generation

Jiyang Gao, Kan Chen외 1명|arXiv (Cornell University)|2018. 07. 12.

Human Pose and Action Recognition참고 문헌 23인용 수 16

한 줄 요약

이 논문은 슬라이딩 윈도우 기반 제안과 액션성 점수 기반 제안을 융합하여 기존 방법의 한계를 보완하는 보완적 시간적 액션 제안 생성기인 CTAP을 제안한다. 제안 수준의 액션성 신뢰도 추정기(PATE)를 통해 슬라이딩 윈도우에서 누락된 고품질 제안을 식별하고 보완하고, 시간적 컨volution 네트워크(TCN)를 활용해 정렬 및 경계 조정을 정교화함으로써, THUMOS-14와 ActivityNet 1.3에서 최신 기준 평균 재현율(AR)을 달성하여 이전 방법보다 mAP에서 4% 이상, AR@100에서 2.6% 이상 향상되었다.

ABSTRACT

Temporal action proposal generation is an important task, akin to object proposals, temporal action proposals are intended to capture "clips" or temporal intervals in videos that are likely to contain an action. Previous methods can be divided to two groups: sliding window ranking and actionness score grouping. Sliding windows uniformly cover all segments in videos, but the temporal boundaries are imprecise; grouping based method may have more precise boundaries but it may omit some proposals when the quality of actionness score is low. Based on the complementary characteristics of these two methods, we propose a novel Complementary Temporal Action Proposal (CTAP) generator. Specifically, we apply a Proposal-level Actionness Trustworthiness Estimator (PATE) on the sliding windows proposals to generate the probabilities indicating whether the actions can be correctly detected by actionness scores, the windows with high scores are collected. The collected sliding windows and actionness proposals are then processed by a temporal convolutional neural network for proposal ranking and boundary adjustment. CTAP outperforms state-of-the-art methods on average recall (AR) by a large margin on THUMOS-14 and ActivityNet 1.3 datasets. We further apply CTAP as a proposal generation method in an existing action detector, and show consistent significant improvements.

연구 동기 및 목표

• 기존 시간적 액션 제안 생성 방법의 한계를 해결하기 위해, 슬라이딩 윈도우 방식은 경계가 정밀도가 떨어지고, 액션성 점수가 낮을 경우 유효한 제안을 놓치는 문제를 해결한다.
• 슬라이딩 윈도우와 액션성 기반 접근 방식의 상호보완적 강점을 활용하여, 순서를 유지하면서 정교한 경계 정밀도와 순차적 순서를 고려한 랭킹을 가능하게 한다.
• 슬라이딩 윈도우에서 고품질의 상호보완적 제안을 적응적으로 선택하여 액션성 기반 제안에서의 누락을 보완하는 방법을 개발한다.
• 실제 영상 데이터셋에서 본 적 있는 액션 클래스와 본 적 없는 액션 클래스 모두에 대해 평균 재현율(AR)과 일반화 능력을 향상시킨다.

제안 방법

• 초기 제안 생성기에서 슬라이딩 윈도우 제안과 액션성 점수 기반 제안을 동시에 생성한다.
• 제안 수준의 액션성 신뢰도 추정기(PATE)를 적용하여 각 제안이 액션성 점수에 의해 정확히 탐지될 가능성의 신뢰도를 평가하고, 낮은 신뢰도의 제안은 제거한다.
• 두 출처에서 유의미한 신뢰도를 확보한 제안을 융합한 후, 시간적 컨volution 신경망(TCN)을 통해 순서를 유지하면서 랭킹 정교화 및 시간 경계 조정을 수행한다.
• 간단한 시간적 풀링 대신 TCN을 도입함으로써 시간 동적 특성을 더 잘 모델링하고 경계 국소화 성능을 향상시킨다.
• 최종 CTAP 모델은 PATE 필터링과 TCN 기반 정교화를 통해 상호보완적 제안을 융합하여 제안 수를 최소화하면서 재현율을 극대화한다.
• THUMOS-14와 ActivityNet 1.3에서 종단 간 테스트를 수행하고, 표준 액션 탐지 파이프라인에 통합하여 추가로 평가한다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우와 액션성 점수 기반 제안을 융합하면 시간적 액션 제안 생성에서 평균 재현율을 향상시킬 수 있는가?
• RQ2 어떻게 슬라이딩 윈도우에서 고품질의 상호보완적 제안을 효과적으로 식별하고 선택하여 액션성 기반 방법의 누락을 보완할 수 있는가?
• RQ3 시간적 컨volution 네트워크는 간단한 풀링 기반 방법에 비해 제안 정렬 및 경계 조정에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 제안된 방법은 ActivityNet 1.3와 같은 긴 꼬리 분포 데이터셋에서 본 적 없는 액션 클래스에도 잘 일반화되는가?
• RQ5 기존 액션 탐지 파이프라인에 CTAP를 통합하면 일관된 성능 향상이 유도되는가?

주요 결과

• THUMOS-14 테스트 세트에서 CTAP는 mAP@tIoU=0.5에서 29.9%를 달성하여 이전 최신 기준 방법인 TURN보다 4.3%포인트 높은 성능을 기록했다.
• ActivityNet 1.3에서 CTAP는 AR@100에서 73.17%, AUC에서 65.72%를 기록하여 최신 기준 방법인 Prop-SSAD보다 각각 2.60%포인트와 1.32%포인트 높은 성능을 보였다.
• 절단 실험 결과, PATE 필터링이 성능 향상에 크게 기여하는 것으로 확인되었으며, CTAP는 AR@100과 AUC에서 모두 SW-TAR 및 TAG-TAR 기반 모델보다 뛰어난 성능을 보였다.
• 일반화 평가 결과, 본 적 없는 액션 클래스에서 성능 저하가 미미하게 나타나 (AR@100 74.06% → 72.51%) 강력한 내성성을 입증했다.
• 표준 액션 탐지기(SCNN)에 CTAP를 통합한 결과, 탐지 성능이 일관되게 향상되어 실제 탐지 파이프라인에서의 효과성을 입증했다.