[論文レビュー] The Prose Storyboard Language: A Tool for Annotating and Directing Movies

Rémi Ronfard, Vineet Gandhi+2 more|arXiv (Cornell University)|Aug 30, 2015

Video Analysis and Summarization参考文献 42被引用数 9

ひとこと要約

プローズ・ストーリーボード言語（PSL）は、空間的構成と時間的スクリーンイベントを符号化した自然言語文を用いて映画のショットを記述する形式的で人間および機械が読み取り可能な言語である。古典的映画の大规模なアノテーション研究において、PSLは複雑な撮影技術を捉える高い表現力と実用的有用性を示し、4部の映画で合計177のショットと330の構図がアノテートされた。これは、知能的な撮影と映画分析システムへの応用を検証するものである。

ABSTRACT

The prose storyboard language is a formal language for describing movies shot by shot, where each shot is described with a unique sentence. The language uses a simple syntax and limited vocabulary borrowed from working practices in traditional movie-making and is intended to be readable both by machines and humans. The language has been designed over the last ten years to serve as a high-level user interface for intelligent cinematography and editing systems. In this new paper, we present the latest evolution of the language, and the results of an extensive annotation exercise showing the benefits of the language in the task of annotating the sophisticated cinematography and film editing of classic movies.

研究の動機と目的

• 空間的および時間的表現力を完全に備えた、形式的で人間および機械が読み取り可能なショット記述言語の開発。
• 知能的な撮影および編集システムが高レベルのショット記述を入力として解釈できるようにすること。
• 映画スタイルの標準化された表現を提供することで、映画分析のための包括的計算的手法を支援すること。
• 現実の映画制作実務と仮想的／自動化された映画制作システムの間のギャップを埋めること。
• 将来的な自動映画生成および既存映画からのショットアノテーションのための基盤を確立すること。

提案手法

• 各ショットを完全な文として記述し、初期の構図（例：中距離ショット）と、時間経過に伴いそれを変化させるスクリーンイベント（例：パン、ドルイユ、移動）を組み合わせる。
• カメラ動作（パン、ドルイユ、クレーン、ホールド）と俳優動作（発話、反応、移動、横断）の最小限でドメイン特化された語彙を用い、ショットの発展を記述する。
• 各ショットにタイムコードを付与し、明確さとパースングを目的に『from』（初期構図）と『to』（結果的構図）に分割して記述する。
• 優先順位付き文法規則を備えたPEGベースのパーサー（Parsimoniousを用いる）により、PSL文を構造化されたショット記述に曖昧さなくパースングする。
• 言語は、『バック・トゥ・ザ・フューチャー』、『ノース・バイ・ノースウェスト』、『トーチ・オブ・イヴリュー』、『ロープ』の4部の古典的映画から複雑なシーンに適用された。
• 時間コード付きのPSL記述を.srt形式で手作業で作成し、キーフレームのストーリーボードとシーン固有の要素を扱うための文法拡張を併記することで、アノテーションを検証した。

実験結果

リサーチクエスチョン

• RQ1 形式的で自然言語に基づく言語が、進化する構図を含む、映画ショットの完全な空間的・時間的複雑性を効果的に記述できるか？
• RQ2 連続的なカメラ移動や編み込まれた俳優のブロッキングといった洗練された撮影技術を、この言語はどの程度表現できるか？
• RQ3 この言語は、サイレント映画、会話が多く、またシングルショットの映画を含む多様な映画ジャンルやスタイルに一貫して適用可能か？
• RQ4 この言語は、知能的な撮影システムのための計算的分析および処理をどの程度支援できるか？
• RQ5 この言語は、映画制作実務と自動化された仮想撮影パイプラインの間の橋渡しとして機能できるか？

主な発見

• プローズ・ストーリーボード言語（PSL）は、4部の古典的映画で合計177のショットと330の異なる構図を成功裏に記述し、広範な適用可能性と表現力の高さを示した。
• この言語は、連続的なカメラ移動、ダイナミックな俳優のブロッキング、複雑な被写界深度の構図といった複雑な映画技術を効果的に捉えた。特に『ノース・バイ・ノースウェスト』のクルーズ・ダスターモードシーン（133ショット）で顕著に現れた。
• アノテーションプロセスは、極めて複雑なシーン、例えばホッパーの『ロープ』の11分間のシングルショットのようなものでさえも、一貫して実行可能であった。この際、カメラと俳優の動きを詳細に追跡する必要があった。
• 優先順位付きパースング式文法（PEG）に基づくパーサーは、曖昧さのないパースツリーを生成し、PSL文の信頼性ある機械処理を可能にした。
• この言語は、極端なクローズアップ、ローアングルショット、複数人物の構図など、多様なショットタイプを効果的に表現できた。『シチズン・ケイン』や『トーチ・オブ・イヴリュー』のシーンでその例が示された。
• 完全にドキュメント化されたPSLパーサーとアノテート済みデータセット（177ショット）の提供により、将来的な映画分析および知能的撮影分野の研究の再利用可能な基盤が得られた。