[논문 리뷰] The Prose Storyboard Language: A Tool for Annotating and Directing Movies

Rémi Ronfard, Vineet Gandhi외 2명|arXiv (Cornell University)|2015. 08. 30.

Video Analysis and Summarization참고 문헌 42인용 수 9

한 줄 요약

프로제 스토리보드 언어(PSL)는 공간적 구성과 시간적 스크린 이벤트를 인코딩한 자연어 문장으로 영화 촬영을 기술하는 형식적이고 인간·기계가 모두 읽을 수 있는 언어이다. 고전 영화의 대규모 애너테이션 연구에서 PSL는 복잡한 시네마토그래피를 포괄하는 데 높은 표현력과 실용성을 입증하였으며, 네 편의 영화에 걸쳐 177개의 촬영과 330개의 구성이 애너테이션되었고, 이는 지능형 시네마토그래피 및 영화 분석 시스템에의 응용을 검증하였다.

ABSTRACT

The prose storyboard language is a formal language for describing movies shot by shot, where each shot is described with a unique sentence. The language uses a simple syntax and limited vocabulary borrowed from working practices in traditional movie-making and is intended to be readable both by machines and humans. The language has been designed over the last ten years to serve as a high-level user interface for intelligent cinematography and editing systems. In this new paper, we present the latest evolution of the language, and the results of an extensive annotation exercise showing the benefits of the language in the task of annotating the sophisticated cinematography and film editing of classic movies.

연구 동기 및 목표

• 영화 촬영을 완전한 공간적·시간적 표현력을 갖춘 형식적이고 인간·기계가 모두 읽을 수 있는 언어로 기술하기 위한 것이다.
• 지능형 시네마토그래피 및 편집 시스템이 고수준의 촬영 기술 기술을 입력으로 해석할 수 있도록 하기 위한 것이다.
• 표준화된 영화 스타일 표현을 제공하여 심층적인 계산 기반 영화 분석을 지원하기 위한 것이다.
• 실제 영화 제작 관행과 가상/자동 영화 제작 시스템 사이의 격차를 메우기 위한 것이다.
• 미래의 자동 영화 생성 및 기존 영화에서의 촬영 애너테이션을 위한 기반을 마련하기 위한 것이다.

제안 방법

• 언어는 각 촬영을 완전한 문장으로 기술하며, 초기 구성(예: 중간 촬영)과 시간이 지남에 따라 이를 변화시키는 스크린 이벤트(예: 편평, 돌림, 이동)를 결합한다.
• 카메라 동작(편평, 돌림, 크레인, 정지)과 배우 동작(말하기, 반응, 이동, 횡단)을 위한 최소한의 도메인 전용 어휘를 사용하여 촬영의 변화를 기술한다.
• 각 촬영은 시간 코드로 애너테이션되며, 명확성과 파싱을 위해 'from'(초기 구성)과 'to'(최종 구성)로 나누어진 조각들로 분할된다.
• 우선순위가 부여된 문법 규칙을 사용하는 PEG 기반 파서(Parsimonious 사용)를 통해 PSL 문장을 구조화된 촬영 기술로 모호하지 않게 파싱한다.
• 언어는 백 투 더 퓨처, 노스 바이 노스웨스트, 터치 오브 일러, 로프 네 편의 고전 영화에서 복잡한 장면에 적용되었다.
• 애너테이션은 시간 코드가 부여된 PSL 기술을 수작업으로 생성하고, 핵심 프레임 스토리보드 및 장면 전용 요소를 위한 문법 확장이 함께 제공되어 검증되었다.

실험 결과

연구 질문

• RQ1 형식적이고 자연어 기반의 언어가 공간적·시간적 복잡성을 모두 갖춘 영화 촬영, 특히 변화하는 구성까지 효과적으로 기술할 수 있는가?
• RQ2 지속적인 카메라 이동과 철저히 구성된 배우의 움직임과 같은 고도로 발전된 시네마토그래피 기법을 얼마나 잘 표현할 수 있는가?
• RQ3 이 언어는 침묵 영화, 대화가 많은 영화, 심지어 단일 촬영 영화를 포함한 다양한 장르와 스타일에 일관되게 적용될 수 있는가?
• RQ4 이 언어는 지능형 시네마토그래피 시스템을 위한 계산 기반 분석 및 처리를 어느 정도 지원하는가?
• RQ5 이 언어는 영화 제작 관행과 자동화된 가상 시네마토그래피 파이프라인 사이의 다리를 놓을 수 있는가?

주요 결과

• 프로제 스토리보드 언어(PSL)는 네 편의 고전 영화에 걸쳐 177개의 촬영과 330개의 고유한 구성이 기술되어, 광범위한 적용 가능성과 높은 표현력을 입증하였다.
• 언어는 지속적인 카메라 이동, 역동적인 배우의 움직임 구성, 복잡한 심도 조절 구성과 같은 복잡한 시네마토그래피 기법을 효과적으로 포착하였다. 특히 노스 바이 노스웨스트의 133개 촬영으로 이루어진 크롭 더스터 장면에서 뚜렷하게 드러났다.
• 애너테이션 과정은 매우 복잡한 장면, 예를 들어 히치콕의 로프에서 11분간의 단일 촬영 장면이라도 일관되고 실행 가능하였다. 이 경우 카메라와 배우의 움직임을 세밀하게 추적해야 했다.
• 우선순위가 부여된 파싱 표현 문법(PEG) 기반의 파서는 모호하지 않은 파싱 트리를 생성하여 PSL 문장의 신뢰할 수 있는 기계 처리를 가능하게 하였다.
• 언어는 극단적 근접 촬영, 낮은 각도 촬영, 다수의 캐릭터가 포함된 구성 등 다양한 촬영 유형을 효과적으로 표현하는 데 성공하였으며, 시티즌 케인과 터치 오브 일러의 장면을 통해 이를 입증하였다.
• 완전히 문서화된 PSL 파서와 애너테이션된 데이터셋(177개 촬영)의 가용성은 향후 영화 분석 및 지능형 시네마토그래피 분야의 연구에 재사용 가능한 기반을 제공한다.