[논문 리뷰] Modeling and Annotating the Expressive Semantics of Dance Videos

Kannan, Rajkumar, Ramadoss Balakrishnan|arXiv (Cornell University)|2010. 01. 04.

Video Analysis and Summarization참고 문헌 25인용 수 7

한 줄 요약

이 논문은 노래 기반 컴포넌트를 사용하여 춤 영상의 표현적 의미를 다중 군집 수준에서 표현하기 위한 일반적인 춤 영상 의미 모델(DVSM)을 제안한다. 이 모델은 마이크로 수준의 특징을 포착하기 위해 새로운 '에이전트' 엔티티를 도입하였으며, 매크로 및 마이크로 수준의 특징 주석을 위한 J2SE와 JMF 기반 도구를 통해 모델을 구현하였고, 예시와 평가 결과를 통해 효과성을 입증하였다.

ABSTRACT

Dance videos are interesting and semantics-intensive. At the same time, they are the complex type of videos compared to all other types such as sports, news and movie videos. In fact, dance video is the one which is less explored by the researchers across the globe. Dance videos exhibit rich semantics such as macro features and micro features and can be classified into several types. Hence, the conceptual modeling of the expressive semantics of the dance videos is very crucial and complex. This paper presents a generic Dance Video Semantics Model (DVSM) in order to represent the semantics of the dance videos at different granularity levels, identified by the components of the accompanying song. This model incorporates both syntactic and semantic features of the videos and introduces a new entity type called, Agent, to specify the micro features of the dance videos. The instantiations of the model are expressed as graphs. The model is implemented as a tool using J2SE and JMF to annotate the macro and micro features of the dance videos. Finally examples and evaluation results are provided to depict the effectiveness of the proposed dance video model. Keywords: Agents, Dance videos, Macro features, Micro features, Video annotation, Video semantics.

연구 동기 및 목표

• 기타 영상 유형에 비해 복잡하고 의미 중심적인 춤 영상에서 표현적 의미에 관한 연구가 부족한 점을 해결하기 위해.
• 멀티미디어 연구에서 자주 간과되는 춤 영상의 매크로 및 마이크로 수준의 의미를 모델링하는 데 도전하기 위해.
• 춤 영상의 표현적 특징을 세밀하게 표현할 수 있는 일반적인 개념 모델을 개발하기 위해.
• 개별 춤수연의 움직임과 표정과 같은 마이크로 수준의 특징을 명시적으로 모델링하기 위해 '에이전트' 엔티티를 도입하기 위해.
• 검색 및 분석을 지원하기 위한 실용적인 도구를 통해 춤 영상 의미의 자동 주석 처리를 구현하기 위해.

제안 방법

• 함께하는 노래의 구성 요소를 기반으로 다양한 군집 수준에서 의미를 표현하기 위한 개념적 모델인 춤 영상 의미 모델(DVSM)을 제안하기 위해.
• 포괄적인 영상 이해를 지원하기 위해 문법적(구조적) 및 의미적(의미 기반) 특징을 DVSM에 통합하기 위해.
• 개별 춤수연 또는 춤 단위를 표현하기 위해 마이크로 수준의 표현적 특징을 포착하기 위해 새로운 엔티티 유형인 '에이전트'를 도입하기 위해.
• 모델 인스턴스를 그래프로 표현하여 의미 관계에 대한 구조화된 표현과 추론을 가능하게 하기 위해.
• 실제 춤 영상 처리를 위한 기능성 있는 주석 도구를 구축하기 위해 J2SE와 자바 미디어 프레임워크(JMF)를 사용하여 모델을 구현하기 위해.
• 샘플 영상에서 매크로 특징(예: 춤 스타일, 리듬)과 마이크로 특징(예: 제스처, 표정)을 주석 처리하기 위해 도구를 적용하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 춤 영상의 표현적 의미를 다중 군집 수준에서 효과적으로 모델링할 수 있는가?
• RQ2 개별 춤수연의 행동과 감정과 같은 마이크로 수준의 표현적 특징을 표현하기 위해 필요한 개념적 엔티티는 무엇인가?
• RQ3 춤 영상의 문법적 및 의미적 특징을 함께 모델링하여 더 풍부한 이해를 지원할 수 있는가?
• RQ4 DVSM과 같은 일반 모델이 다양한 춤 영상 유형의 주석 처리에 얼마나 잘 지원할 수 있는가?
• RQ5 제안된 모델과 도구는 실제 춤 영상 주석 처리 작업에서 실용적으로 얼마나 효과적인가?

주요 결과

• 제안된 춤 영상 의미 모델(DVSM)은 노래 기반 분할을 통해 춤 영상의 매크로 및 마이크로 수준의 의미를 성공적으로 포착한다.
• '에이전트' 엔티티의 도입으로 개별 춤수연의 행동과 표현적 뉘앙스를 마이크로 수준에서 정확하게 모델링할 수 있게 되었다.
• J2SE와 JMF를 사용한 구현은 표현적 영상 의미의 기능성 주석 도구를 구축하는 데의 실현 가능성을 입증한다.
• 평가 예시에서는 모델이 복잡한 춤의 의미를 의미 있고 구조적인 방식으로 표현할 수 있음을 보여준다.
• 모델은 리듬, 스타일, 제스처, 감정 표현과 같은 다양한 표현적 특징의 효과적인 주석 처리를 가능하게 한다.
• 그래프 기반의 모델 인스턴스화는 춤 영상의 의미 관계에 대한 확장성 있고 스케일러블한 표현을 지원한다.