[論文レビュー] A filter based approach for inbetweening

Yuichi Yagi|arXiv (Cornell University)|Jun 12, 2017

Advanced Vision and Imaging参考文献 3被引用数 3

ひとこと要約

本稿では、線対応関係やトポロジー的変化を明示的に計算せずに、間挿線画アニメーションのためのフィルタベースの畳み込みニューラルネットワーク（CNN）手法を提案する。スキャンされたフレームを空間重み付き損失関数とデータ拡張を用いてトレーニングした二本のCNN（低解像度および高解像度）を用いることで、入力フレームが非常に類似している場合に特に滑らかで知覚的に妥当な中間フレームを生成する。

ABSTRACT

We present a filter based approach for inbetweening. We train a convolutional neural network to generate intermediate frames. This network aim to generate smooth animation of line drawings. Our method can process scanned images directly. Our method does not need to compute correspondence of lines and topological changes explicitly. We experiment our method with real animation production data. The results show that our method can generate intermediate frames partially.

研究の動機と目的

• 明示的な線のマッチングやトポロジー的変化のモデリングを回避する、直接的でラスタベースの線画用間挿手法の開発。
• ベクトル化または事前処理を必要としないスキャンされたアニメーションフレームの処理を可能にする。
• 二重スケールCNNアーキテクチャと空間的重み付き損失関数を用いて、トレーニング効率と出力品質の向上。
• 実際のテレビアニメーションデータ（スキャン動画およびセルベースフレームを含む）に対して本手法の評価。
• 最小限の手動介入で生産パイプラインに統合可能な深層学習による自動間挿の可能性の探求。

提案手法

• 低解像度ネットワークによる特徴抽出と高解像度ネットワークによる出力精錬を実行する二本のCNNを採用。
• ReLU活性化関数を用いた3×3畳み込みと双線形アップサンプリングを用いて空間的解像度を向上。
• 線に近い領域に重点を置く空間的重み付き損失関数を適用し、スキャンおよびセルベース入力それぞれに対して別々の定式化を実施。
• 一般化性とトレーニング安定性の向上を目的に、ランダムな平行移動と回転によるデータ拡張を実装。
• He初期化を適用し、畳み込みの前にゼロパディングを実施した上で、Adam最適化を用いてエンドツーエンドでネットワークをトレーニング。
• 段階的推論により中間フレームを生成：f_{i+1/2} = CNN(f_i, f_{i+1}) に続く f_{i+1/4} および f_{i+3/4} の推論で、より高いフレームレート出力を実現。

実験結果

リサーチクエスチョン

• RQ1 明示的な線対応関係計算なしに、深層学習モデルが線画用に妥当な中間フレームを生成できるか？
• RQ2 低解像度および高解像度のスレッドを持つ二本のCNNアーキテクチャは、詳細の保持と計算負荷の低減にどの程度効果的か？
• RQ3 空間的重み付き損失関数は、生成された間挿フレームの知覚的品質をどの程度向上させるか？
• RQ4 ランダムな平行移動と回転によるデータ拡張は、実際のアニメーションデータにおけるモデルの一般化性を向上させるか？
• RQ5 本手法は、入力フレームが非常に類似している場合に、実際の生産データに対してどの程度の性能を示すか？

主な発見

• 入力フレームが十分に類似している場合、本手法は線画用の中間フレームを成功裏に生成したが、一部の結果は不完全であった。
• スキャン動画フレーム（1754×1240）に対して、テストクリップでは4倍のフレームレート向上を達成し、1クリップあたり1〜2分の推論時間がかかった。
• 空間的重み付き損失関数の導入により、線領域への注目が高まり、ぼやけを低減し、構造的忠実度が向上した。
• ランダムな平行移動（δ=40）によるデータ拡張により、モデルのロバスト性が向上したが、初期の動画実験では回転拡張は使用されなかった。
• 二重スケールCNNアーキテクチャにより計算負荷が低減されつつ出力品質を維持でき、トレーニングは1台のGTX TITAN X GPUで実施された。
• 本手法は、高フレームレートまたはスローモーションアニメーションの生産に有望であるが、一般化性および完全性の制限のため、元の間挿ワークフローの直接的置き換えには不適切であった。