[논문 리뷰] Weakly supervised learning of actions from transcripts

Hilde Kuehne, Alexander Richard외 1명|arXiv (Cornell University)|2016. 10. 07.

Human Pose and Action Recognition참고 문헌 23인용 수 5

한 줄 요약

이 논문은 프레임 레벨 애너테이션 없이 비디오 전사본과 프레임 수준 특징만을 사용하여 시간적 행동 인식을 위한 약한 지도 학습 방법을 제안한다. 반복적인 HMM 기반 추론과 모델 재추정을 통해 액션 모델을 학습한다. 이 방법은 네 가지 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 정렬 작업에서 이전 방법보다 2–5% 향상되었고, 완전히 지도 학습 모델에 가까운 성능을 보였다.

ABSTRACT

We present an approach for weakly supervised learning of human actions from video transcriptions. Our system is based on the idea that, given a sequence of input data and a transcript, i.e. a list of the order the actions occur in the video, it is possible to infer the actions within the video stream, and thus, learn the related action models without the need for any frame-based annotation. Starting from the transcript information at hand, we split the given data sequences uniformly based on the number of expected actions. We then learn action models for each class by maximizing the probability that the training video sequences are generated by the action models given the sequence order as defined by the transcripts. The learned model can be used to temporally segment an unseen video with or without transcript. We evaluate our approach on four distinct activity datasets, namely Hollywood Extended, MPII Cooking, Breakfast and CRIM13. We show that our system is able to align the scripted actions with the video data and that the learned models localize and classify actions competitively in comparison to models trained with full supervision, i.e. with frame level annotations, and that they outperform any current state-of-the-art approach for aligning transcripts with video data.

연구 동기 및 목표

• 행동 인식을 위한 프레임 레벨 비디오 애너테이션의 높은 비용 문제를 해결하기 위해 전사본 수준의 순서 정보만을 활용한다.
• 수동으로 경계 애너테이션을 요구하지 않고도 비디오 내에서 시간적 행동 분할과 분류를 가능하게 한다.
• 행동 모델 정확도를 분할과 모델 재추정을 통합함으로써 향상시키는 확장 가능한 반복 학습 프레임워크를 개발한다.
• 약한 학습된 모델이 완전히 지도 학습 파ipeline의 효과적인 초기화로 기능할 수 있음을 입증한다.
• 전사본에서의 약한 지도 학습만을 사용하여 대규모 데이터셋에서 경쟁 가능한 성능을 달성한다.

제안 방법

• 각 액션 클래스를 전사본 순서에 기반한 균일한 시간 분할로 초기화한 은닉 마르코프 모델(HMM)로 모델링한다.
• 비디오 특징의 관측 확률을 표현하기 위해 가우시안 믹스처 모델(GMM)을 사용하여 실시간 파라미터 업데이트를 효율적으로 구현한다.
• 반복적으로 시퀀스 디코딩(분할 추론)과 모델 재추정을 수행하여 액션 경계와 HMM 파라미터를 개선한다.
• 수렴과 과적합의 균형을 위해 반복 횟수를 세 번으로 고정한다. 이는 경험적 평가에 기반한다.
• 성능 향상을 위해 GMM와 깊은 CNN 특징을 결합하여 복잡한 시각적 패턴을 모델링한다.
• 학습 전사본에서의 문법 학습을 통해 전사본 입력 없이도 새로운 비디오의 분할을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전사본 수준의 순서 정보와 프레임 수준 특징만으로 액션 모델을 효과적으로 학습시킬 수 있는가?
• RQ2 프레임 레벨 애너테이션이 없이도 반복적인 추론과 모델 재추정이 시간적 행동 국소화 성능을 향상시킬 수 있는가?
• RQ3 제안된 방법은 정렬 및 분할 작업에서 최신 기술 수준의 약한 지도 학습 접근법과 비교해 어떻게 성능를 내는가?
• RQ4 약한 학습된 모델이 완전히 지도 학습 모델에 효과적인 초기화로 기능할 수 있는가?
• RQ5 CNN 특징의 통합이 약한 지도 학습 행동 인식에서 성능 향상에 기여하는가?

주요 결과

• 제안된 방법은 할리우드 확장 데이터셋에서 Jaccard 지수 0.460을 달성하여, 이전 최신 기술 수준 방법보다 정렬 성능에서 2–5% 향상되었다.
• 브렉퍼스트 데이터셋에서 GMM+CNN 변종은 평균 오버랩(MoF) 0.282를 기록하여 ECTC 기준선을 초월하고 완전히 지도 학습 모델에 가까워졌다.
• 이 방법은 [3]에 비해 학습 시간을 한 단계 낮췄으며, 각 데이터셋당 0.47–5.1분 내로 세 번의 반복만으로 학습을 완료했다.
• 할리우드 확장, MPII 쿠킹, 브렉퍼스트, CRIM13 등 다양한 데이터셋에서 뛰어난 강건성을 보였으며, 총 100시간 이상의 비디오 데이터를 포함했다.
• CNN 특징의 사용은 분할 성능을 2.5% 향상시켜, 약한 지도 학습 환경에서 깊은 시각적 표현의 유용성을 입증했다.
• 학습 데이터에서 유도한 문법 제약 조건을 활용하여 전사본이 없더라도 학습된 모델이 새로운 비디오의 정확한 시간적 분할을 가능하게 했다.