[論文レビュー] Finding the Right Moment: Human-Assisted Trailer Creation via Task Composition

Pinelopi Papalampidi, Frank Keller+1 more|arXiv (Cornell University)|Nov 16, 2021

Video Analysis and Summarization被引用数 5

ひとこと要約

本論文は、映画のショットのグラフモデルを用いて、物語的構造の特定と感情予測に分解する人間支援型トレーラー生成フレームワークを提案する。スクリプトに基づく特権情報を利用して共同対照学習を行うことで、従来の教師ありアプローチを上回る人間の審査官の好みを得られる。特に、ターニングポイントを構造的事前知識として組み込むと、最高の性能が達成される。

ABSTRACT

Movie trailers perform multiple functions: they introduce viewers to the story, convey the mood and artistic style of the film, and encourage audiences to see the movie. These diverse functions make trailer creation a challenging endeavor. In this work, we focus on finding trailer moments in a movie, i.e., shots that could be potentially included in a trailer. We decompose this task into two subtasks: narrative structure identification and sentiment prediction. We model movies as graphs, where nodes are shots and edges denote semantic relations between them. We learn these relations using joint contrastive training which distills rich textual information (e.g., characters, actions, situations) from screenplays. An unsupervised algorithm then traverses the graph and selects trailer moments from the movie that human judges prefer to ones selected by competitive supervised approaches. A main advantage of our algorithm is that it uses interpretable criteria, which allows us to deploy it in an interactive tool for trailer creation with a human in the loop. Our tool allows users to select trailer shots in under 30 minutes that are superior to fully automatic methods and comparable to (exclusive) manual selection by experts.

研究の動機と目的

• 自動映画トレーラー生成の課題に対処すること。これは、物語的構造と感情の流れを理解する必要がある。
• トレーラー生成を2つのサブタスクに分解すること：キーアイテムである物語的ターニングポイントの特定と、ショット間の感情強度の予測。
• トレーリング時にビデオレベルのアノテーションにかかるコストを回避するために、スクリプトデータを特権情報として活用することでモデル性能を向上させること。
• 一貫性があり人間が好むトレーラーを生成する、非教師ありのグラフベースの走査アルゴリズムを開発すること。
• 人間による判断を通じて、内容の情報量と魅力の両面でモデルの有効性を評価すること。

提案手法

• ノードをショット、エッジをスクリプトアノテート済みイベントから導出された意味的関係とするグラフとして映画をモデル化する。
• スクリプトテキストとビデオ特徴量の両方を用いた二重ネットワーク対照学習フレームワークを訓練する。対照損失を介して共有表現学習を実現する。
• スクリプトデータを用いてノードにターニングポイントの種別（例：クライマックス、深刻な失敗）をラベル付けし、ショットに感情スコアを割り当てる。
• トレーラー候補をショットの選択と順序付けとして生成するため、映画グラフ上で非教師ありランダムウォーク戦略を適用する。
• 走査をガイドするためにターニングポイントを構造的事前知識として統合し、一貫性と魅力を向上させる。
• アマゾンMechanical Turkを用いた人間による評価を通じて評価を行う。内容の情報量と魅力の両面でトレーラーを順位付けするために、ベスト・ワーストスケーリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 トレーラー生成を物語的構造の特定と感情予測に分解することで、自動トレーラーの品質が向上するか？
• RQ2 対照学習を用いてスクリプトデータを特権情報として活用することで、トレーラー生成のためのショットレベル表現学習が向上するか？
• RQ3 ターニングポイントを構造的事前知識として組み込むことで、生成されたトレーラーの一貫性と人間の好みにどのような影響を与えるか？
• RQ4 非教師ありのグラフ走査法が、教師ありベースラインを上回って情報量が多く魅力的なトレーラーを生成できるか？
• RQ5 生成されたトレーラーにどれほどスパイラーが含まれるか。また、それらを避けることで品質が低下するか？

主な発見

• ターニングポイントを含むGraphTrailerは、情報量（Q1）と魅力（Q2）の両面で最高の人間好みを得ており、他のすべてのモデルを上回った。
• ターニングポイントを含むモデルは、最悪と選ばれる頻度が低く、一貫性のある品質を示した。一方、ターニングポイントを含まないモデルは、最良と最悪の両方の選択を多く受けており、品質の不安定さが示された。
• 教師ありGraphTrailerとターニングポイントなしのGraphTrailerは、それぞれ24.40%および22.50%の割合で最良と選ばれたが、同時に最悪と選ばれる頻度も高く、品質のばらつきが顕著であった。
• スクリプトデータを用いた対照学習の活用により、ビデオレベルのアノテーションを必要とせずに、モデル性能が顕著に向上した。
• 最終2つのターニングポイント（深刻な失敗、クライマックス）のショットを含んでも、スパイラーの過剰な発生はなく、12本のテストトレーラーのランダムサンプルにおいて、重大なスパイラーは1件のみ特定された。
• ドメイン内データがなければ、微細な感情予測は信頼性が低いため、感情強度の安定した代理指標として、ポジティブ／ネガティブ感情スコアを用いた。