[논문 리뷰] Background Modeling via Uncertainty Estimation for Weakly-supervised Action Localization

Pilhyeon Lee, Jinglu Wang외 2명|arXiv (Cornell University)|2020. 06. 12.

Human Pose and Action Recognition참고 문헌 54인용 수 10

한 줄 요약

이 논문은 약한 감독적 시계열 행동 탐지에서 배경 모델링을 위한 새로운 불확실성 추정 방법을 제안하며, 배경 프레임을 분포 외 샘플로 간주한다. 다중 예제 학습을 활용하고 배경 엔트로피 손실을 도입하여 내재된 분포 확률이 균일해지도록 유도함으로써, 이 방법은 배경 간섭을 효과적으로 억제하고 THUMOS'14 및 ActivityNet (1.2 및 1.3)에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Weakly-supervised temporal action localization aims to learn detecting temporal intervals of action classes with only video-level labels. To this end, it is crucial to separate frames of action classes from the background frames (i.e., frames not belonging to any action classes). In this paper, we present a new perspective on background frames where they are modeled as out-of-distribution samples regarding their inconsistency. Then, background frames can be detected by estimating the probability of each frame being out-of-distribution, known as uncertainty, but it is infeasible to directly learn uncertainty without frame-level labels. To realize the uncertainty learning in the weakly-supervised setting, we leverage the multiple instance learning formulation. Moreover, we further introduce a background entropy loss to better discriminate background frames by encouraging their in-distribution (action) probabilities to be uniformly distributed over all action classes. Experimental results show that our uncertainty modeling is effective at alleviating the interference of background frames and brings a large performance gain without bells and whistles. We demonstrate that our model significantly outperforms state-of-the-art methods on the benchmarks, THUMOS'14 and ActivityNet (1.2 & 1.3). Our code is available at this https URL.

연구 동기 및 목표

• 약한 감독적 시계열 행동 탐지에서 행동 프레임과 배경 프레임을 구분하는 데 도전하는 것.
• 배경 프레임을 분포 외 샘플로 모델링하여 탐지의 강건성을 향상시키는 것.
• 프레임 수준의 애너테이션 없이도 배경 프레임에 대한 불확실성 추정을 가능하게 하는 것.
• 새로운 배경 엔트로피 손실을 통해 행동 프레임과 배경 프레임 간의 구별 능력을 향상시키는 것.
• 추가 구성 요소 없이 표준 벤치마크에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 이 방법은 배경 프레임을 분포 외 샘플로 모델링하여 배경 탐지의 대체 지표로 불확실성 추정을 가능하게 한다.
• 이중 예제 학습 프레임워크 내에서 불확실성 학습을 수립함으로써 프레임 수준의 애너테이션을 요구하지 않는다.
• 배경 엔트로피 손실이 도입되어 배경 프레임에 대해 다양한 행동 클래스 간에 균일한 내재된 분포 확률을 유도한다.
• 불확실성 추정은 교차 엔트로피 손실과 배경 엔트로피 손실을 사용하여 엔드 투 엔드로 최적화된다.
• 모델은 백본 네트워크에서 추출한 깊은 특징을 활용하고 시간적 집계를 적용하여 행동 경계를 예측한다.
• 최종 예측은 불확실성 점수를 임계값으로 설정하여 행동 세그먼트를 식별함으로써 도출된다.

실험 결과

연구 질문

• RQ1 배경 프레임이 분포 외 샘플로 효과적으로 모델링될 수 있는가?
• RQ2 프레임 수준의 레이블이 없을 때 배경 프레임에 대한 불확실성은 어떻게 추정할 수 있는가?
• RQ3 배경 엔트로피 손실을 도입하면 배경 프레임과 행동 프레임 간의 구별 능력이 향상되는가?
• RQ4 불확실성 기반 배경 모델링이 약한 감독적 행동 탐지에서 성능 향상에 기여하는가?
• RQ5 제안된 방법은 표준 벤치마크에서 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 THUMOS'14 벤치마크에서 추가 구성 요소 없이도 최신 기술 수준의 성능을 달성한다.
• ActivityNet 1.2 및 1.3에서 기존 최신 기술 수준의 접근 방식보다 뚜렷한 성능 향상을 달성한다.
• 배경 엔트로피 손실은 배경 프레임에 대해 균일한 내재된 분포 확률을 효과적으로 유도하여 그 탐지 능력을 향상시킨다.
• 불확실성 추정은 배경 프레임의 간섭을 성공적으로 줄여 보다 정확한 행동 경계 탐지로 이어진다.
• 다양한 데이터셋에 걸쳐 강력한 일반화 능력을 보이며, 이는 그 강건성과 효과성을 확인한다.