[논문 리뷰] Spatio-Temporal Instance Learning: Action Tubes from Class Supervision

Pascal Mettes, Cees G. M. Snoek|arXiv (Cornell University)|2018. 07. 08.

Human Pose and Action Recognition참고 문헌 52인용 수 4

한 줄 요약

이 논문은 영상 수준의 클래스 레이블만을 사용하여 비디오 내 동작 로컬라이제이션을 위한 약한 지도 학습 방법인 Spatio-Temporal Instance Learning (STIL)을 제안한다. 이 방법은 잠재 변수를 포함한 최대 마진 목적함수를 통해 프레임 수준의 박스 제안을 직접 이용하여 시공간적 행동 튜브를 학습하며, 사전에 계산된 시공간 제안이 없는 기존의 MIL 기반 방법들을 능가하는 성능을 보이며, 최소한의 지도 정보로 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The goal of this work is spatio-temporal action localization in videos, using only the supervision from video-level class labels. The state-of-the-art casts this weakly-supervised action localization regime as a Multiple Instance Learning problem, where instances are a priori computed spatio-temporal proposals. Rather than disconnecting the spatio-temporal learning from the training, we propose Spatio-Temporal Instance Learning, which enables action localization directly from box proposals in video frames. We outline the assumptions of our model and propose a max-margin objective and optimization with latent variables that enable spatio-temporal learning of actions from video labels. We also provide an efficient linking algorithm and two reranking strategies to facilitate and further improve the action localization. Experimental evaluation on four action datasets demonstrate the effectiveness of our approach for localization from weak supervision. Moreover, we show how to incorporate other supervision levels and mixtures, as a step towards determining optimal supervision strategies for action localization.

연구 동기 및 목표

• 사전에 계산된 시공간 제안이 학습 과정과 분리되어 있는 기존 약한 지도 학습 방법의 한계를 해결한다.
• 영상 수준의 레이블과 프레임 수준의 박스 제안에서 직접 시공간적 행동 학습을 통합적으로 수행한다.
• 학습 시 진정한 바운딩 박스가 필요 없이 종단간 행동 튜브를 학습할 수 있는 모델을 개발한다.
• 맥락 정보와 다중 행동 정보를 활용한 효율적인 연결 알고리즘 및 재순서 전략을 통해 정확도를 향상시킨다.
• 영상 레이블, 점, 박스 등 다양한 수준의 혼합 지도 정보를 통합하여 최소한의 노력으로 최적의 표기 전략을 탐색한다.

제안 방법

• 잠재 변수를 포함한 최대 마진 목적함수를 제안하여, 박스 수준의 모델을 학습하면서도 모든 프레임 간 시공간 일관성을 강제한다.
• 진정한 지도 정보 없이도 프레임 수준의 박스 제안을 행동 튜브로 그룹화할 수 있는 제로샷 연결 알고리즘을 도입한다.
• 강한 지도 학습 방법을 영감으로 삼아 공간 분류와 시간적 연결을 분리하지만, 약한 지도 학습 환경에 적합하게 변형한다.
• 두 가지 재순서 전략을 적용한다: 하나는 맥락 특징 기반이고, 다른 하나는 영상 내 다중 행동의 동시 발생을 활용한다.
• 영상 레이블 외에 추가적인 지도 수준(예: 점 또는 박스 표기)을 통합할 수 있는 프레임워크를 설계한다.
• 잠재 변수 학습을 최적화하여 최적의 행동 튜브와 그에 해당하는 점수를 동시에 추론한다.

실험 결과

연구 질문

• RQ1 사전에 계산된 시공간 제안에 의존하지 않고도 시공간적 행동 로컬라이제이션을 효과적으로 수행할 수 있는가?
• RQ2 영상 수준의 레이블에서 종단간 행동 튜브를 직접 학습하는 방법이 사전 제안을 사용하는 MIL 기반 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 맥락 정보와 다중 행동 관계를 기반으로 한 재순서 전략이 약한 지도 학습 하에서 로컬라이제이션 성능 향상에 얼마나 기여하는가?
• RQ4 다양한 지도 수준(예: 영상 레이블, 점, 박스)을 조합할 때, 표기 비용과 성능 간의 상충 관계는 어떠한가?
• RQ5 제안된 방법은 영상 레이블만으로도 Sports1M 및 YouTube8M와 같은 대규모 비트림 영상 데이터셋에 효과적으로 확장 가능한가?

주요 결과

• 제안된 Spatio-Temporal Instance Learning (STIL)은 네 개의 벤치마크 데이터셋에서 약한 지도 학습 행동 로컬라이제이션 분야에서 최신 기술 수준의 성능을 달성한다.
• 사전에 계산된 제안에 의존하는 기존의 MIL 기반 방법보다 STIL이 뛰어난 성능을 보이며, 로컬라이제이션을 학습 과정에 통합함으로써 그 이점이 입증된다.
• 제로샷 연결 알고리즘이 진정한 지도 정보 없이도 프레임 수준의 제안에서 성공적으로 행동 튜브를 형성한다.
• 맥락 특징과 다중 행동 정보를 기반으로 한 재순서 전략은 특히 다중 행동이 포함된 영상에서 정확도를 더욱 향상시킨다.
• 영상 레이블만으로도 효과적인 로컬라이제이션을 수행할 수 있으며, 평균적으로 영상당 표기 비용을 약 5초로 줄일 수 있다.
• 절단 실험 결과, 영상 레이블에 최소한의 추가 지도 정보(예: 점 또는 박스 표기)를 결합할 경우 성능 향상이著명하며, UCF Sports 데이터셋에서 점과 영상 레이블을 50:50 비율로 조합할 경우 표기 비용을 53.75초로 줄이면서 정확도가 향상된다.