[論文レビュー] Unsupervised Video-to-Video Translation

Dina Bashkirova, Ben Usman+1 more|arXiv (Cornell University)|Jun 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 9被引用数 15

ひとこと要約

本論文は、未教師付き動画間翻訳を新たなタスクとして導入し、空間的・時間的整合性を保つために動画全体を3次元テンソルとして扱う3次元畳み込みネットワーク（3D CycleGAN）を提案する。この手法は、フレーム単位の翻訳に比べて、動きの連続性、物体の外観、動画間の構造的整合性を顕著に向上させる。特に合成および医療画像分野のデータセットにおいて顕著な効果を示す。

ABSTRACT

Unsupervised image-to-image translation is a recently proposed task of translating an image to a different style or domain given only unpaired image examples at training time. In this paper, we formulate a new task of unsupervised video-to-video translation, which poses its own unique challenges. Translating video implies learning not only the appearance of objects and scenes but also realistic motion and transitions between consecutive frames.We investigate the performance of per-frame video-to-video translation using existing image-to-image translation networks, and propose a spatio-temporal 3D translator as an alternative solution to this problem. We evaluate our 3D method on multiple synthetic datasets, such as moving colorized digits, as well as the realistic segmentation-to-video GTA dataset and a new CT-to-MRI volumetric images translation dataset. Our results show that frame-wise translation produces realistic results on a single frame level but underperforms significantly on the scale of the whole video compared to our three-dimensional translation approach, which is better able to learn the complex structure of video and motion and continuity of object appearance.

研究の動機と目的

• 未教師付き動画間翻訳を新たなタスクとして定式化し、非ペairedデータを用いた画像間翻訳を動画に拡張すること。
• ペaired例が存在しない状況下で、フレーム間の動きの整合性と物体の外観を維持する課題に対処すること。
• 空間的・時間的整合性を捉えるためのグローバルな動きパターンを学習可能な、3次元の時空間翻訳モデルを開発すること。
• 合成、現実的、医療動画データセット（新規のMRIからCTへのボリュームデータセット含む）に対してモデルを評価すること。
• バッチ構造がフレーム単位の翻訳モデルの学習安定性と性能に与える影響を調査すること。

提案手法

• 動画シーケンスを空間的・時間的次元（高さ × 幅 × 時間）を持つ3次元テンソルとして扱い、一括して空間的・時間的翻訳を実行する3次元畳み込みニューラルネットワーク（3D CycleGAN）を提案。
• 画像間翻訳で用いられるサイクル整合性損失を動画に拡張し、全動画シーケンス全体で $F(G(y)) = y$ および $G(F(x)) = x$ を強制する。
• 空間的・時間的アーティファクトを低減し、生成動画の滑らかさを向上させるために、全変動損失を導入。
• 学習中に、同じ動画からのフレームをグループ化する順序付きバッチ選択を採用し、勾配の一貫性とモデルの安定性を向上。
• 生成動画が実際のものと区別できないようにするため、3次元動画ボリュームを対象とする識別器を用いた敵対的訓練を実施。
• セグメンテーションから動画へのタスクおよび動画から動画へのタスクにおいて、意味的構造の保持を評価するため、ラベルノイズ除去と構造的指標を適用。

実験結果

リサーチクエスチョン

• RQ1 3次元動画翻訳モデルは、フレーム単位の画像間翻訳に比べ、動きの連続性と物体の一貫性をよりよく保持できるか？
• RQ2 バッチの構造（例：順序付き vs. ランダム）は、フレーム単位の翻訳モデルの性能にどのように影響するか？
• RQ3 ペaired例が存在しない状況下で、3D CycleGANは動画シーケンス内でグローバルな動きパターンをどれほど学習できるか？
• RQ4 現実的および医療用ボリューム動画翻訳タスクにおいて、3Dモデルはフレーム単位のベースラインに比べてどの程度優れているか？
• RQ5 順序付きバッチ選択は、フレーム単位の動画翻訳モデルの安定性と現実性を向上させるか？

主な発見

• 3D CycleGANは、すべてのデータセットでフレーム単位の手法に比べ顕著に優れた性能を示し、人間評価でもその結果が好まれた。
• ボリュームMNISTデータセットでは、3D CycleGANは時間的順序パターンを完璧に捉えており、フレーム単位のモデルは正しい順序を学習できなかった。
• GTA動画の色合い化タスクでは、3Dモデルがフレーム単位の手法に見られるちらつきや変形アーティファクトを解消し、滑らかで一貫性のある色合い化を実現した。
• MRIからCTへの翻訳では、3Dモデルがランダムベースラインを統計的に有意に上回り、特に頭蓋骨や鼻腔などの解剖的構造の保持において顕著な優位性を示した。
• 順序付きバッチ選択により、フレーム単位のモデルの性能が向上し、バッチ内の類似性が学習安定性を高め、動きアーティファクトを低減することが示唆された。
• セグメンテーションから動画への翻訳タスクにおいても、3Dモデルはフレーム単位のベースラインに比べ、より正確で安定した結果を出力し、ピクセル遷移行列距離 ($||\pi_{\text{gt}} - \pi_A||_2$) も低く抑えられた。