[논문 리뷰] LPAT: Learning to Predict Adaptive Threshold for Weakly-supervised Temporal Action Localization

Xudong Lin, Zheng Shou외 1명|arXiv (Cornell University)|2019. 10. 25.

Human Pose and Action Recognition참고 문헌 29인용 수 3

한 줄 요약

이 논문은 배경 점수를 기반으로 각 스크립트에 대해 적응형 임계값을 예측하는 방법인 LPAT을 제안한다. 이는 수동 임계값 조정을 제거하고, 비디오 수준의 지도만으로도 THUMOS'14 및 ActivityNet1.2에서 최신 기술 성능을 달성한다. 분류와 국소화를 동시에 최적화하는 새로운 제약 손실을 통해 성능을 향상시킨다.

ABSTRACT

Recently, Weakly-supervised Temporal Action Localization (WTAL) has been densely studied because it can free us from costly annotating temporal boundaries of actions. One prevalent strategy is obtaining action score sequences over time and then truncating segments of scores higher than a fixed threshold at every kept snippet. However, the threshold is not modeled in the training process and manually setting the threshold introduces expert knowledge, which damages the coherence of systems and makes it unfair for comparisons. In this paper, we propose to adaptively set the threshold at each snippet to be its background score, which can be learned to predict (LPAT). In both training and testing time, the predicted threshold is leveraged to localize action segments and the scores of these segments are allocated for video classification. We also identify an important constraint to improve the confidence of generated proposals, and model it as a novel loss term, which facilitates the video classification loss to improve models' localization ability. As such, our LPAT model is able to generate accurate action proposals with only video-level supervision. Extensive experiments on two standard yet challenging datasets, i.e., THUMOS'14 and ActivityNet1.2, show significant improvement over state-of-the-art methods.

연구 동기 및 목표

• 수동으로 설정된 임계값이 도입하는 편향을 제거하고 공정한 비교를 가능하게 하기 위해, 약한 지도 학습 기반 시간적 행동 국소화에서 수동 임계값 설정이 필요 없도록 하는 것.
• 학습 중에 임계값 예측을 통해 국소화 모델의 일관성과 엔드 투 엔드 학습을 향상시키기 위한 것.
• 비디오 분류 목표와 일치하는 새로운 제약 손실을 통해 제안된 제안의 신뢰도와 국소화 정확도를 향상시키기 위한 것.
• 비디오 수준의 애너테이션만을 사용하여 표준 벤치마크에서 최신 기술 성능을 달성하기 위한 것.

제안 방법

• LPAT는 각 스크립트에 대해 배경 점수를 예측함으로써 임계값을 학습하여, 임계값 메커니즘의 엔드 투 엔드 학습을 가능하게 한다.
• 모델은 예측된 임계값을 사용하여 학습 및 추론 중에 고점수 행동 세그먼트를 잘라내는 방식을 취한다.
• 제안된 제약 손실은 제안된 제안의 신뢰도를 향상시켜 국소화와 비디오 분류 간의 연결을 강화한다.
• 이 방법은 동일한 점수 시퀀스를 사용하여 행동 국소화와 비디오 분류를 동시에 최적화한다.
• 임계값 예측은 미분 가능하므로, 역전파를 통해 동시에 임계값과 행동 점수 헤드를 개선할 수 있다.
• 이 프레임워크는 약한 지도 학습 기반 국소화 데이터셋의 바운딩 박스 애너테이션을 요구하지 않는 비디오 수준의 지도만을 사용한다.

실험 결과

연구 질문

• RQ1 적응형 임계값 학습이 수동 조정 없이도 약한 지도 학습 기반 시간적 행동 국소화의 국소화 성능을 향상시킬 수 있는가?
• RQ2 배경 점수로 예측된 임계값을 학습하는 것이 제안 품질과 모델 일반화에 어떤 영향을 미치는가?
• RQ3 새로운 제약 손실을 도입함으로써 제안의 신뢰도와 분류 지도 국소화에 어떤 영향을 미치는가?
• RQ4 비디오 수준의 지도만으로도 통합된 모델이 국소화와 분류를 동시에 최적화할 수 있는 정도는 어느 정도인가?
• RQ5 LPAT는 THUMOS'14 및 ActivityNet1.2와 같은 표준 벤치마크에서 최신 기술 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• LPAT는 THUMOS'14 데이터셋에서 최신 기술 성능을 달성하였으며, 행동 국소화의 평균 평균 정밀도에서 이전 방법들을 크게 앞서며 성능 향상을 입증하였다.
• ActivityNet1.2에서 LPAT는 기존의 약한 지도 학습 기반 접근법보다 상당한 향상을 보이며, 다양한 데이터셋에 대한 일반화 능력을 확인하였다.
• 제안된 제약 손실은 제안된 행동 제안의 신뢰도를 효과적으로 향상시켜 더 신뢰할 수 있는 국소화 결과를 도출하였다.
• 엔드 투 엔드로 임계값을 학습함으로써 LPAT는 전문가가 정의한 임계값이 필요 없어졌고, 이는 모델의 공정성과 일관성을 향상시켰다.
• 공유된 점수 시퀀스를 사용하여 국소화와 분류를 동시에 최적화함으로써 양 측면의 성능이 향상되었으며, 통합된 학습 방식의 이점을 입증하였다.