[논문 리뷰] Point-Level Temporal Action Localization: Bridging Fully-supervised Proposals to Weakly-supervised Losses

Chen Ju, Peisen Zhao외 3명|arXiv (Cornell University)|2020. 12. 15.

Human Pose and Action Recognition참고 문헌 35인용 수 11

한 줄 요약

이 논문은 키포인트 검출과 학습 가능한 매핑기 모듈을 활용하여 완전히 감독받는 제안과 약한 감독 기반의 카테고리 레이블 간의 갭을 메우는 새로운 제안 기반 프레임워크를 제안한다. 검출된 키포인트 주변의 일관된 제안에 예측를 제약하여 가짜 양성 예측를 크게 줄이고 정밀도를 향상시켜, THUMOS14, GTEA, BEOID에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Point-Level temporal action localization (PTAL) aims to localize actions in untrimmed videos with only one timestamp annotation for each action instance. Existing methods adopt the frame-level prediction paradigm to learn from the sparse single-frame labels. However, such a framework inevitably suffers from a large solution space. This paper attempts to explore the proposal-based prediction paradigm for point-level annotations, which has the advantage of more constrained solution space and consistent predictions among neighboring frames. The point-level annotations are first used as the keypoint supervision to train a keypoint detector. At the location prediction stage, a simple but effective mapper module, which enables back-propagation of training errors, is then introduced to bridge the fully-supervised framework with weak supervision. To our best of knowledge, this is the first work to leverage the fully-supervised paradigm for the point-level setting. Experiments on THUMOS14, BEOID, and GTEA verify the effectiveness of our proposed method both quantitatively and qualitatively, and demonstrate that our method outperforms state-of-the-art methods.

연구 동기 및 목표

• 프레임 수준 예측에서의 높은 해의 공간과 가짜 양성 문제를 해결하기 위해 포인트 수준의 시간 행동 로컬라이제이션(PTAL)에 초점을 맞춘다.
• 희소 포인트 수준의 애너테이션을 활용하여 완전 감독과 약한 감독 TAL 간의 성능 격차를 줄인다.
• 완전 감독 설정에서 널리 사용되는 제안 기반 파라다임을 PTAL에 적용하여 예측 일관성을 강화하고 로컬라이제이션 품질을 향상시킨다.
• 약한 감독 기반의 카테고리 레이블에서 제안 수준의 예측으로의 역전파를 가능하게 하기 위해 미분 가능한 매핑 모듈을 설계한다.
• 약한 감독 조건에서 키포인트 검출과 제안 기반 예측이 프레임 수준의 확률 예측보다 유의미하게 뛰어나다는 것을 입증한다.

제안 방법

• 포인트 수준 애너테이션을 사용하여 키포인트 검출기를 훈련시어 행동의 앵커 포인트(약한 행동 중심점)를 식별한다.
• 각 검출된 앵커 포인트에 대해 중심 오프셋과 행동 길이를 예측하여 제안을 생성함으로써 국소화된 행동 세그먼트를 형성한다.
• 제안 위치를 미분 가능한 이진 시간 마스크로 변환하는 학습 가능한 매핑 모듈을 도입한다.
• 이진 마스크를 시간 주의력으로 사용하여 영상 특징에서 제안 수준의 분류 확률을 생성한다.
• 비차별성 변환에도 불구하고, 미분 가능한 매핑기를 통해 카테고리 수준의 레이블을 이용해 전체 파ipeline를 엔드 투 엔드로 최적화한다.
• 두 단계로 훈련: 첫 번째 단계는 포인트 수준 레이블을 사용한 키포인트 검출, 두 번째 단계는 약한 감독 기반 분류 손실을 사용한 제안 예측

실험 결과

연구 질문

• RQ1 완전 감독 TAL에서 효과적인 제안 기반 예측 파라다임이 포인트 수준 감독 설정에 적합하게 적용되어 해의 공간을 줄이고 예측의 일관성을 향상시킬 수 있는가?
• RQ2 단일 프레임 애너테이션만 제공되는 조건에서 완전 감독 제안 학습을 약한 감독 기반 카테고리 레이블과 효과적으로 연결할 수 있는가?
• RQ3 키포인트 검출 정확도가 제안 기반 PTAL 프레임워크에서 최종 로컬라이제이션 성능에 얼마나 큰 영향을 미치는가?
• RQ4 비차별성 특성의 위치-마스크 변환에도 불구하고 제안된 매핑 모듈이 약한 감독 조건에서 엔드 투 엔드 훈련을 성공적으로 가능하게 하는가?
• RQ5 동일한 약한 감독 조건 하에서 제안 기반 파라다임이 프레임 수준의 확률 예측에 비해 가짜 양성, 연속성, mAP 측면에서 어떻게 성능이 뛰어나게 되는가?

주요 결과

• 제안된 방법은 GTEA에서 평균 mAP 33.7%를 기록하여 이전 SOTA를 4.5% 이상 초월한다.
• BEOID에서 이 방법은 최고의 경쟁자보다 평균 mAP 4.5% 이상 높아 강력한 일반화 능력을 입증한다.
• THUMOS14에서 이 방법은 완전 감독 기반 베이스라인과 비교해 mAP 격차를 6% 감소시켜 성능 격차를 크게 좁혔다.
• SF-Net 대비 가짜 양성 예측을 10–15% 감소시키며 정밀도를 향상시켰고, 재현율이 뚜렷이 향상되어 완전한 행동을 더 잘 탐지함을 시사한다.
• 가우시안 분포를 따르는 시뮬레이션된 포인트 수준 애너테이션 조건 하에서도 이 방법은 최고의 성능(mAP ~65.2)을 기록하여 레이블 분포에 대한 강건성을 확인한다.
• 정성적 결과는 SF-Net의 프레임 수준 확률 곡선에 비해 더 연속적이고 완전한 행동 예측 및 더 적은 가짜 양성 예측를 보여준다.