[논문 리뷰] Weakly-Supervised Action Localization with Expectation-Maximization Multi-Instance Learning

Zhekun Luo, Devin Guillory외 5명|arXiv (Cornell University)|2020. 03. 31.

Human Pose and Action Recognition참고 문헌 44인용 수 25

한 줄 요약

이 논문은 약한 감독 행동 정위치를 위한 기대값-최대화 다중 예제 학습(EM-MIL) 프레임워크를 제안하며, 핵심 예제 할당을 은닉 변수로 명시적으로 모델링하여 MIL 가정과의 일치도를 향상시킨다. 반복적으로 핵심 예제에 대한 의사 레이블을 최적화하고 분류를 번갈아가며 EM 단계를 수행함으로써, THUMOS14와 ActivityNet1.2에서 최신 기준 성능을 달성하며, 약한 감독 기반의 앙상블 모델보다 배경 일관성의 명시적 모델링과 MIL 원칙의 암묵적 위반을 피함으로써 우수한 성능을 내는다.

ABSTRACT

Weakly-supervised action localization requires training a model to localize the action segments in the video given only video level action label. It can be solved under the Multiple Instance Learning (MIL) framework, where a bag (video) contains multiple instances (action segments). Since only the bag's label is known, the main challenge is assigning which key instances within the bag to trigger the bag's label. Most previous models use attention-based approaches applying attentions to generate the bag's representation from instances, and then train it via the bag's classification. These models, however, implicitly violate the MIL assumption that instances in negative bags should be uniformly negative. In this work, we explicitly model the key instances assignment as a hidden variable and adopt an Expectation-Maximization (EM) framework. We derive two pseudo-label generation schemes to model the E and M process and iteratively optimize the likelihood lower bound. We show that our EM-MIL approach more accurately models both the learning objective and the MIL assumptions. It achieves state-of-the-art performance on two standard benchmarks, THUMOS14 and ActivityNet1.2.

연구 동기 및 목표

• 주의 기반의 약한 감독 행동 정위치 모델이 음성 배치에 주의를 적용함으로써 암묵적으로 MIL 가정을 위반하는 한계를 해결하기 위해.
• MIL 프레임워크 내에서 핵심 예제 할당을 은닉 변수로 명시적으로 모델링하여 정위치 정확도를 향상시키기 위해.
• 약한 감독 비디오 행동 정위치에서 양성 및 음성 배치의 진짜 데이터 생성 과정과 더 잘 일치하는 학습 절차를 개발하기 위해.
• 단순한 아키텍처를 유지하면서도 표준 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 두 가지 브랜치 아키텍처를 제안: 핵심 예제 할당 브랜치(qϕ)와 분류 브랜치(pθ)로, EM을 통해 번갈아가며 최적화함.
• E단계(핵심 예제 할당)와 M단계(분류)에 각각 적용 가능한 두 가지 새로운 의사 레이블 생성 기법을 도입함. 이는 MIL 목적 함수의 가능도 하한에서 유도됨.
• 교차 학습을 적용: qϕ를 고정하고 의사 레이블이 부여된 핵심 예제를 사용해 pθ를 학습한 후, pθ를 고정하고 qϕ를 개선함으로써 가능도 하한을 반복적으로 최적화함.
• 음성 배치를 균일하게 음성 예제로 명시적으로 모델링하여, 주의 기반 모델이 비행동 세그먼트에 주의를 기울이는 경향을 방지함.
• 입력으로 고정된 I3D 특징을 사용하며, MIL 기반의 할당 및 분류 헤드 학습에 집중함.
• 분류 점수와 핵심 예제 할당 점수의 가중 조합을 통해 최종 정위치 예측을 생성함. 하이퍼파라미터 λ는 각 데이터셋에 맞게 튜닝됨.

실험 결과

연구 질문

• RQ1 EM 프레임워크 내에서 핵심 예제 할당을 은닉 변수로 명시적으로 모델링하는 것이 주의 기반 MIL 모델보다 정위치 정확도를 향상시키는가?
• RQ2 주의 기반 모델이 얼마나 심각하게 MIL 가정을 위반하는가? 즉, 음성 배치는 유일하게 균일하게 음성 예제로 구성되어야 한다는 가정을.
• RQ3 EM-MIL 접근 방식은 약한 감독 행동 정위치에서 양성 및 음성 배치의 진짜 데이터 생성 과정을 더 잘 모델링할 수 있는가?
• RQ4 EM-MIL 프레임워크는 표준 벤치마크에서 최신 기준 약한 감독 방법과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 EM-MIL 모델은 THUMOS14 벤치마크에서 30.5%의 mAP@0.5를 달성하여 기존 방법들을 능가함.
• ActivityNet1.2에서 모델은 37.4%의 mAP@0.5, 23.1%의 mAP@0.7, 2.0%의 mAP@0.9를 기록하며, 최신 약한 감독 방법 중 최고 수준에 속함.
• 절단 실험 결과, 의사 레이블링과 교차 학습을 포함한 전체 EM-MIL 프레임워크는 THUMOS1.4에서 mAP@0.5를 24.5%에서 30.5%로 향상시키며, 제안된 구성 요소의 효과를 입증함.
• ActivityNet1.2에서는 분류 점수에 대한 모델 의존도가 증가함 (P_t,c에 대해 λ=0.7). 이는 이 데이터셋에서 분류 성능이 핵심 과제임을 시사하며, THUMOS14에서는 핵심 예제 할당이 더 중요함 (λ=0.8)과 대비됨.
• 모델은 음성 배치에 주의를 기울이지 않도록 명시적으로 방지하여, MIL 가정과 더 잘 부합하고 거짓 긍정 예측을 줄임.
• 시각화 결과는 주의 기반 모델보다 더 완전한 행동 예측을 생성함을 보여줌. 주의 기반 모델은 종종 행동의 일부를 놓침.