[논문 리뷰] A Local-to-Global Approach to Multi-modal Movie Scene Segmentation

Anyi Rao, Linning Xu외 5명|arXiv (Cornell University)|2020. 04. 06.

Human Pose and Action Recognition참고 문헌 30인용 수 7

한 줄 요약

이 논문은 시각, 청각, 출연진, 장소 특징을 클립, 세그먼트, 영화 수준에서 통합하여 시나리오 경계 검출을 향상시키는 국소-전역 프레임워크를 제안한다. 프레임워크는 계층적 의미론과 전역 최적화를 활용하여 새로운 MovieScenes 데이터셋에서 47.1%의 평균 정밀도를 달성했으며, 이는 이전 작업 대비 68% 상대적 향상이다. 데이터셋에서의 사전 훈련은 후속 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Scene, as the crucial unit of storytelling in movies, contains complex activities of actors and their interactions in a physical environment. Identifying the composition of scenes serves as a critical step towards semantic understanding of movies. This is very challenging -- compared to the videos studied in conventional vision problems, e.g. action recognition, as scenes in movies usually contain much richer temporal structures and more complex semantic information. Towards this goal, we scale up the scene segmentation task by building a large-scale video dataset MovieScenes, which contains 21K annotated scene segments from 150 movies. We further propose a local-to-global scene segmentation framework, which integrates multi-modal information across three levels, i.e. clip, segment, and movie. This framework is able to distill complex semantics from hierarchical temporal structures over a long movie, providing top-down guidance for scene segmentation. Our experiments show that the proposed network is able to segment a movie into scenes with high accuracy, consistently outperforming previous methods. We also found that pretraining on our MovieScenes can bring significant improvements to the existing approaches.

연구 동기 및 목표

• 복잡한 시간적 및 서사적 구조로 인해 시각적 신호를 초월한 의미적 이해가 요구되는 영화 시나리오 분할 과제를 해결하기 위해.
• 클립, 세그먼트, 영화 수준에서 시각, 청각, 출연진, 장소 등의 다중모달 신호를 통합하는 확장 가능한 프레임워크를 개발하기 위해.
• 시각적 변화로 인한 잘못된 전환을 수정하기 위해 국소 예측과 전역 최적화를 조합하여 시나리오 경계 검출을 향상시키기 위해.
• 150部 영화에서 21,000개의 레이블이 부여된 시나리오를 포함하는 MovieScenes라는 대규모 벤치마크를 구축하여 시나리오 분할을 위한 기준을 설정하기 위해.
• MovieScenes에서의 사전 훈련이 기존 시나리오 분할 벤치마크에서 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 프레임워크는 영상, 청각, 출연진, 장면 위치에서 유래한 특징을 사용하여 클립 수준에서 다중모달 표현을 추출한다.
• 국소 시나리오 경계 예측은 클립, 세그먼트, 영화의 세 수준에서 다중모달 임베딩을 학습된 어텐션 메커니즘을 통해 융합하여 수행된다.
• 전역 최적화 단계는 의미적 일관성을 유지하면서 시나리오 경계 오차를 최소화하는 군집화 문제를 해결하여 예측을 보완한다.
• 최적화는 불일치하는 전환을 방지하고 의미적으로 일관된 군집화를 장려하는 학습된 비용 함수를 사용한 동적 프rogramming을 활용한다.
• 반복적 정밀화를 통해 슈퍼샷을 초기 군집으로 사용하며, 정확도와 수렴 속도를 균형 잡기 위해 초기 슈퍼샷 수와 반복 횟수를 조정한다.
• 프레임워크는 시나리오 경계에서 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, MovieScenes에서의 사전 훈련은 제로샷 및 전이 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 시각, 청각, 출연진, 장소 등의 다중모달 신호는 어떻게 효과적으로 융합되어 시각적 신호를 초월한 시나리오 분할을 향상시킬 수 있는가?
• RQ2 상향식 전역 영화 수준의 맥락은 국소 시나리오 경계 예측에 얼마나 기여하는가?
• RQ3 대규모 인간 레이블이 부여된 영화 시나리오 데이터셋은 시나리오 분할 모델의 일반화 능력을 얼마나 향상시킬 수 있는가?
• RQ4 클립, 세그먼트, 영화 수준의 계층적 시간적 및 의미적 구조 통합은 국소 중심 접근 방식에 비해 성능을 어떻게 향상시키는가?
• RQ5 기존 벤치마크에서의 전이 학습을 위한 제안된 MovieScenes 데이터셋에서의 사전 훈련은 어떤 영향을 미치는가?

주요 결과

• 제안된 국소-전역 프레임워크는 MovieScenes 데이터셋에서 47.1%의 평균 정밀도를 달성했으며, 이는 이전 최고 성능 방법(28.1% AP) 대비 68% 상대적 향상이다.
• MovieScenes에서의 사전 훈련은 기존 벤치마크에서 성능을 향상시킨다: OVSD에서 85.7% AP, BBC에서 90.2% AP를 기록하여 강력한 일반화 능력을 보였다.
• 전역 최적화로 인해 갑작스러운 시각적 변화—예: 샷 유형 전환—로 인한 잘못된 양식 전환(거짓 긍정)이 감소하여 오류가 줄어들었다.
• 다중모달 신호는 상호 보완적이다: 청각 및 출연진 특징은 시각적 명도가 낮은 장면—예: 먼 거리 또는 부분적인 시야—에서 특히 효과적이다.
• 최적 설정은 600개의 초기 슈퍼샷과 5회의 반복을 사용하며, 정확도와 효율성 사이의 균형을 잘 맞춘다.
• 정성적 결과는 시각적 특징이 크게 다를 경우에도 의미적으로 일관된 샷을 올바르게 군집화함을 확인하여 강력한 의미적 이해 능력을 보였다.