[논문 리뷰] RefineLoc: Iterative Refinement for Weakly-Supervised Action Localization

Alejandro Pardo, Humam Alwassel외 3명|arXiv (Cornell University)|2019. 03. 30.

Human Pose and Action Recognition인용 수 9

한 줄 요약

RefineLoc는 각 훈련 반복 단계에서 스퍼포트 레이블을 생성하고 활용함으로써 정확도를 향상시키는 반복 보정 프레임워크를 제안한다. 이는 이전 반복의 편표 레이블을 기반으로 예측을 보정함으로써 THUMOS14에서 최고 성능을 달성하고 기존 SOTA 방법의 성능을 크게 향상시킨다. 이는 약한 감독 비디오 행동 정위치에서 반복 보정의 효과성을 입증한다.

ABSTRACT

Video action detectors are usually trained using datasets with fully-supervised temporal annotations. Building such datasets is an expensive task. To alleviate this problem, recent methods have tried to leverage weak labeling, where videos are untrimmed and only a video-level label is available. In this paper, we propose RefineLoc, a novel weakly-supervised temporal action localization method. RefineLoc uses an iterative refinement approach by estimating and training on snippet-level pseudo ground truth at every iteration. We show the benefit of this iterative approach and present an extensive analysis of five different pseudo ground truth generators. We show the effectiveness of our model on two standard action datasets, ActivityNet v1.2 and THUMOS14. RefineLoc shows competitive results with the state-of-the-art in weakly-supervised temporal localization. Additionally, our iterative refinement process is able to significantly improve the performance of two state-of-the-art methods, setting a new state-of-the-art on THUMOS14.

연구 동기 및 목표

• 완전히 애너테이션된 시간 행동 정위치 데이터셋의 높은 비용 문제를 해결하기 위해, 비디오 수준의 레이블만으로도 훈련이 가능하도록 하는 것.
• 시간 애너테이션이 제공되지 않는 약한 감독 설정에서 정위치 성능을 향상시키는 것.
• 약한 감독과 완전한 감독 행동 정위치 방법 간의 성능 격차를 줄이는 것.
• 다양한 기본 모델과 데이터셋에 적용 가능한 일반적인 반복 보정 전략을 개발하는 것.

제안 방법

• RefineLoc는 각 반복 단계에서 이전 모델의 예측 기반으로 편표 지도 레이블을 생성하는 반복 훈련 과정을 사용한다.
• 스니펫 수준의 편표 레이블은 주의 점수와 분류 신뢰도의 조합을 통해 생성되며, 전경 및 배경 세그먼트를 근사한다.
• 이 편표 레이블 기반으로 모델을 지도 학습 방식으로 재훈련하며, 과도한 피팅을 방지하기 위해 스퍼포트를 무작위로 샘플링한다.
• 다섯 가지의 다른 편표 지도 레이블 생성 전략을 평가하여 가장 효과적인 설정을 도출한다.
• 이 보정 과정은 기본 모델과 기존 SOTA 방법 모두에 적용되어 일반화 능력과 성능 향상을 입증한다.
• 이 방법은 TSN, W-TALC, BaS-Net과 같은 표준 백본과 호환되며, 즉시 적용 가능한 성능 향상이 가능하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 편표 지도 레이블을 사용한 반복 보정이 약한 감독 시간 행동 정위치 성능을 크게 향상시킬 수 있는가?
• RQ2 편표 지도 레이블 생성기의 선택이 다양한 데이터셋과 모델에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 반복 보정 과정이 기존 최고 성능 모델의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 반복 보정 전략이 시간이 지남에 따라 정위치 오류를 줄이고 예측 커버리지를 향상시키는가?
• RQ5 이 방법은 다양한 백본 아키텍처와 특징 추출기 간에 일반화 가능한가?

주요 결과

• TSN 특징를 사용할 때, RefineLoc는 ActivityNet v1.2에서 최고 성능을 기록하며 경쟁적인 성능을 달성한다.
• BaS-Net과 W-TALC 기반 모델에 적용했을 때, RefineLoc는 THUMOS14에서 새로운 최고 성능을 달성하여 IoU=0.3일 때 45.10 mAP를 기록한다.
• 반복 보정 과정은 시간이 지남에 따라 배경 오류와 정위치 오류를 줄이며, DETAD false-positive 분석을 통해 이를 입증한다.
• Qualitative 결과를 통해 RefineLoc는 탐지 커버리지를 향상시키고 반복 과정에서 분리된 예측을 통합함을 보여준다.
• 이 방법은 잘 일반화된다: W-TALC에 적용했을 때, 2회의 반복 후 IoU=0.3에서 mAP가 42.98에서 44.10으로 상승한다.
• 성능 향상에도 불구하고, 초기 분류 모듈의 단순성으로 인해 혼동 오류가 약간 증가함을 확인하였으며, 이는 정위치 정확도와 분류 정확도 사이의 상충 관계를 시사한다.