[논문 리뷰] Unsupervised Semantic Parsing of Video Collections

Ozan Şener, Amir Zamir외 2명|arXiv (Cornell University)|2015. 06. 28.

Video Analysis and Summarization참고 문헌 48인용 수 19

한 줄 요약

이 논문은 인간이 레이블링한 동작 또는 물체 레이블 없이, 지도학습을 사용하지 않고 대규모 지침 영상 유튜브 영상 컬렉션을 의미론적 활동 단계로 분해하는 비지도 통합 시각-언어 모델을 제안한다. 비타 과정 혼합 모델과 마르코프 언어 모델을 통해 시각적 원자와 언어적 원자를 활용함으로써, 최첨단 성능을 기록하는 일관되고 의미론적으로 유의미한 스토리라인을 발견한다. 벤치마크 데이터셋에서 IOU는 52.36%, mAP는 44.09%를 달성한다.

ABSTRACT

Human communication typically has an underlying structure. This is reflected in the fact that in many user generated videos, a starting point, ending, and certain objective steps between these two can be identified. In this paper, we propose a method for parsing a video into such semantic steps in an unsupervised way. The proposed method is capable of providing a semantic "storyline" of the video composed of its objective steps. We accomplish this using both visual and language cues in a joint generative model. The proposed method can also provide a textual description for each of the identified semantic steps and video segments. We evaluate this method on a large number of complex YouTube videos and show results of unprecedented quality for this intricate and impactful problem.

연구 동기 및 목표

• 인간이 레이블링한 동작 또는 물체 레이블 없이 대규모 지침 영상 컬렉션에서 구조화된 의미론적 활동 단계를 탐지하는 것.
• 동일한 카테고리의 영상들 간에 공통된 일관되고 의미론적으로 유의미한 스토리라인을 추론하기 위해 시각적 신호와 언어 신호의 공동 분포를 모델링하는 것.
• 언어 원자와 마르코프 언어 모델을 사용하여 각 탐지된 활동 단계에 대해 기술적 텍스트 레이블을 생성하는 것.
• 복잡한 실제 영상 컬렉션에서의 성능을 평가하고, How-To 영상 외의 영역으로의 일반화 능력을 입증하는 것.
• 시각과 언어 모odalities가 비지도 영상 분석의 정확성과 일관성 향상에 어떻게 상호보완적으로 작용하는지 검증하는 것.

제안 방법

• 먼저 영상 프레임의 물체 제안 영역에서 시각적 원자를 추출하고, ASR로 생성된 자막에서 언어적 원자를 추출한다.
• 공통된 활동 단계를 시각적 원자와 언어적 원자의 동시 출현을 바탕으로, 생성적 비타 과정 혼합 모델을 사용해 동일한 카테고리의 영상들 간에 식별한다.
• 모델은 부분집합 선택과 시간 순서 정렬을 통해 전체 영상 컬렉션을 생성할 수 있는 잠재적 활동 단계 집합을 탐지한다.
• 각 탐지된 단계와 관련된 빈번한 언어 원자를 기반으로 마르코프 언어 모델을 훈련시어 기술적 설명을 생성한다.
• 영상이 동일한 활동 카테고리에 속해 있으면서(예: '바이트를 매는 법'), 추가적인 레이블이 필요로 하지 않는 비지도 접근 방식이다.
• 개별 신호에서 발생할 수 있는 노이즈와 불완전성 문제를 해결하기 위해 시각적 및 언어적 모달리티를 공동으로 모델링한다.

실험 결과

연구 질문

• RQ1 통합 시각-언어 모델은 인간이 레이블링한 동작 또는 물체 레이블 없이 대규모 영상 컬렉션에서 의미론적으로 의미 있는 활동 단계를 탐지할 수 있는가?
• RQ2 시각적 및 언어적 모달리티는 비지도 영상 분석의 정확성과 일관성 향상에 어떻게 상호보완적으로 작용하는가?
• RQ3 탐지된 활동 단계는 How-To 영상 외의 다른 구조화된 영상 카테고리로 얼마나 잘 일반화되는가?
• RQ4 단일 모달리티 기반의 베이스라인 또는 전통적인 HMM 기반 접근 방식에 비해 통합 모델의 성능은 어떻게 비교되는가?
• RQ5 이 방법은 탐지된 각 활동 단계에 대해 정확하고 의미론적으로 의미 있는 기술적 설명을 생성할 수 있는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 IOU 52.36%와 mAP 44.09%를 기록하며, HMM 및 KTS 기반의 모든 경쟁 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 단일 모달리티 기반의 베이스라인에 비해 성능이 뛰어나며, 언어 모달리티만 사용한 경우가 시각 모달리티만 사용한 경우보다 略히 우수하여, 두 모달리티가 상호보완적임을 확인했다.
• 시각 또는 언어 모달리티 중 하나를 제거할 경우 성능이 뚜렷이 저하되며, 공동 모델링의 필요성을 확인했다.
• 주관적 평가 결과, 전체 모델의 의미론적 mAP는 39.01%로, 탐지된 단계와 인간 레이블 간의 높은 의미론적 일치도를 나타냈다.
• 비록 How-To 영상 외의 카테고리인 '샌프란시스코 여행'과 같이, 의미론적으로 중요한 랜드마크와 활동 기반으로 영상들을 클러스터링하는 데 성공하여, 일반화 능력을 입증했다.
• 명시적인 물체나 동작 카테고리 레이블 없이도, 탐지된 활동 단계가 의미론적 개념과 높은 상관관계를 보이며, 의미론적 일관성을 유지함을 확인했다.