[논문 리뷰] Unsupervised Learning and Segmentation of Complex Activities from Video

Fadime Şener, Angela Yao|arXiv (Cornell University)|2018. 03. 26.

Human Pose and Action Recognition참고 문헌 23인용 수 11

한 줄 요약

이 논문은 텍스트 입력 없이도, 반복적이고 복잡한 활동을 일관된 하위 활동으로 분할하는 비지도 학습 방법을 제안한다. 반복적인 판별-생성 프레임워크를 사용하여, 시각적 특징 임베딩과 일반화된 말로우스 모델(GMM)을 결합함으로써 탄력적인 시간적 순서를 포착한다. 이는 텍스트 입력 없이도 Breakfast 및 Inria Instructional Videos 데이터셋에서 최신의 비지도 및 약한 지도 학습 방법을 능가한다.

ABSTRACT

This paper presents a new method for unsupervised segmentation of complex activities from video into multiple steps, or sub-activities, without any textual input. We propose an iterative discriminative-generative approach which alternates between discriminatively learning the appearance of sub-activities from the videos' visual features to sub-activity labels and generatively modelling the temporal structure of sub-activities using a Generalized Mallows Model. In addition, we introduce a model for background to account for frames unrelated to the actual activities. Our approach is validated on the challenging Breakfast Actions and Inria Instructional Videos datasets and outperforms both unsupervised and weakly-supervised state of the art.

연구 동기 및 목표

• 장시간 영상 시퀀스에서 텍스트적 지시 없이도 복잡하고 절차적인 활동의 비지도 분할에 도전하는 것.
• 실생활 지침 영상에서 흔한 결손된 단계와 이질적인 순서를 포함한 하위 활동의 탄력적인 시간적 순서를 모델링하는 것.
• 반복 최적화 프로세스를 통해 하위 활동의 시각적 외형 표현과 시간적 구조를 함께 학습하는 것.
• 주 활동과 관련이 없는 배경 프레임을 고려하여 분할 정확도를 향상시키는 것.
• 비지도 활동 분할에서 최신 기술 성능을 달성하여, 비지도 및 약한 지도 학습 기반선을 초월하는 것.

제안 방법

• 유사한 하위 활동을 군집하고 다른 활동을 분리하기 위해 순서 손실을 사용하여, 시각적 특징에서 저차원 임베딩 공간으로의 선형 매핑을 학습하는 판별적 접근을 사용한다.
• 하위 활동의 순열 분포를 모델링하기 위해 일반화된 말로우스 모델(GMM)을 활용하며, 표준 순서를 강제로 유지하면서도 실제 세계의 변형에 대한 탄력성을 허용한다.
• 주 활동에 속하지 않는 프레임을 식별하고 제거하기 위해 배경 모델을 도입함으로써 분할 정밀도를 향상시킨다.
• 시각적 표현과 시간적 구조를 번갈아 최적화하는 반복적인 EM 유사 프레임워크를 사용하여, 반복 과정 동안 양 측면을 개선한다.
• 학습된 파rameter와 관측된 특징을 기반으로 확률적 추론 기반 프레임 단위 레이블(하위 활동 및 배경)을 할당한다.
• GMM의 탄력성을 제어하기 위해 초수치 ρ₀를 사용하는 사전을 적용하며, 표준 순서와 이탈에 대한 내성 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 텍스트나 시간적 지시 없이도 시각적 입력만으로도 복잡한 영상 활동의 최신 비지도 분할을 달성할 수 있는가?
• RQ2 결손된 단계, 재정렬된 동작, 탄력적인 순서를 허용하는 방식으로 하위 활동의 시간적 구조를 어떻게 모델링할 수 있는가?
• RQ3 장시간이고 잘리지 않은 영상 시퀀스에서 배경 모델을 통합할 경우 분할 성능에 얼마나 기여하는가?
• RQ4 GMM 기반 시간적 모델링은 마르코프 모델 또는 RNN 기반 접근법과 비교해 복합적인 순서 제약 조건을 어떻게 더 잘 포착하는가?
• RQ5 반복적인 하위 활동이 있는 활동에서 성능 저하가 발생하는 이유는 무엇이며, 이러한 경우를 다룰 수 있도록 모델을 확장할 수 있는가?

주요 결과

• 제안된 방법은 Breakfast Actions 데이터셋에서 F1 점수 0.471을 기록하여, RNN 기반 및 판별적 클러스터링 방법을 포함한 모든 비지도 및 약한 지도 학습 기반선을 능가한다.
• Inria Instructional Videos 데이터셋에서 이 방법은 재현율 지수(Jaccard index) 47.1%와 Mof 34.6%를 기록하여, 비지도 설정에서 최신 기술 성능을 충족하거나 초월한다.
• 'CPR 수행' 및 '타이어 교체' 작업에서 성능 저하가 발생한 것은 반복적인 하위 활동을 다룰 수 없는 단모달 GMM의 한계를 보여주며, 반복 처리에 대한 제약이 있음을 시사한다.
• ρ₀ = 5일 때, '타이어 교체' 작업에서 F1 점수 0.41을 기록하여 [1]과 유사한 성능을 달성함으로써, 사전 조정을 통해 엄격한 순서 기반 작업에서 성능 향상을 이룰 수 있음을 보여준다.
• 5개 활동 중 3개에서 이 방법은 [1]을 일관되게 능가하며, 엄격한 순서 제약 조건이 아닌 탄력적인 순서 모델링의 우수성을 입증한다.
• 배경 모델은 비활동 프레임을 효과적으로 식별하며, 활동에 따라 0.46에서 0.83의 배경 비율을 기록하여 분할의 일관성 향상에 기여한다.