[論文レビュー] Développement d'algorithmes d'intelligence artificielle pour du mapping vidéo sur une scène de théâtre

Thomas Josso-Laurain, Laurent Baltenweck+3 more|SPIRE - Sciences Po Institutional REpository|May 15, 2023

Artificial Intelligence in Games被引用数 12

ひとこと要約

ファインチューニング済みのニューラル言語モデル、データ合成、翻訳、およびヒューマン・イン・ザ・ループ協働を用いて演劇脚本の階層生成を自動化する開始段階の研究プロジェクト。

ABSTRACT

International audience

研究の動機と目的

• AIと演劇研究の交差点における THEaiTRE プロジェクトを動機づけ、定義する。
• モデルの訓練とファインチューニングのデータ資源と言語カバレッジ（英語とチェコ語）を概説する。
• 演劇脚本を生成するための階層的・多段階生成アプローチを提案する。
• 限定的なドメインデータを補うための要約と翻訳によるデータ拡張を説明する。
• 品質管理のために演劇専門家とのヒューマン・イン・ザ・ループ協働を強調する。

提案手法

• 演劇の脚本データで大規模ニューラル言語モデルをファインチューニングして対話を生成する。
• プロンプトから要約、登場人物別モデルを用いた全脚本までの階層的生成を実装する。
• 一貫性を保つために明示的なキャラクター埋め込みとエンティティ追跡を用いる。
• 抽象的要約を用いたトレーニングデータの合成によって多段表現（タイトル、短い要約、詳細な要約、台本）を作成する。
• 機械翻訳を適用して英語-チェコのデータを活用し、演劇ドメインの並列データでファインチューニングしたバイリンガル出力を作成する。
• 入力仕様と出力の再ランキング/再選択のためにヒューマン・イン・ザ・ループの入力を取り入れる。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニング済みで階層的なニューラル言語モデルは、登場人物の対話を制御した一貫性のある演劇脚本を生成できるか？
• RQ2 要約ベースのデータ合成が階層的な劇生成の品質に与える影響はどの程度か？
• RQ3 機械翻訳は英語とチェコ語間の演劇ドメインデータの訓練および出力にどの程度適応できるか？
• RQ4 ヒューマン・イン・ザ・ループは舞台上の実現性とスタイルの忠実度を確保する上でどのような役割を果たすか？

主な発見

• 本論文は経験的結果を提示するよりも、複数段階の計画と予想されるワークフローを概説している。
• プロンプト/シード、キャラクター別LM、階層生成を用いて一貫性と登場人物の整合性を改善する計画。
• 処理を支援するために、幕、場面、対話を含む統一JSON形式へのデータ変換を提案。
• 脚本から階層モデルを訓練するために高次の表現を生成するための要約の活用を示唆。
• 演劇ドメインのデータのためのMTモデルの翻訳とファインチューニングを想定し、バイリンガル生成と訓練を可能にする。
• 入力を定義し、出力を再ランク付けするためのヒューマン・イン・ザ・ループ協働を提唱し、演劇専門家の監督を確保する。