[論文レビュー] MetaPix: Few-Shot Video Retargeting

Jessica Lee, Deva Ramanan+1 more|arXiv (Cornell University)|Oct 10, 2019

Human Pose and Action Recognition参考文献 40被引用数 13

ひとこと要約

MetaPixは、少数のフレームのみを用いて、普遍的な生成モデルをターゲットの人物およびシーンに高速かつ効果的にカスタマイズするためのメタラーニング手法を提案する。Reptileアルゴリズムを生成器および識別器の重みを同時にメタ最適化するように適応させることで、最小限の監視（K=1）および計算リソース（T=20）ですべてのベースラインを上回る優れた時間的整合性と性能を達成する。

ABSTRACT

We address the task of unsupervised retargeting of human actions from one video to another. We consider the challenging setting where only a few frames of the target is available. The core of our approach is a conditional generative model that can transcode input skeletal poses (automatically extracted with an off-the-shelf pose estimator) to output target frames. However, it is challenging to build a universal transcoder because humans can appear wildly different due to clothing and background scene geometry. Instead, we learn to adapt - or personalize - a universal generator to the particular human and background in the target. To do so, we make use of meta-learning to discover effective strategies for on-the-fly personalization. One significant benefit of meta-learning is that the personalized transcoder naturally enforces temporal coherence across its generated frames; all frames contain consistent clothing and background geometry of the target. We experiment on in-the-wild internet videos and images and show our approach improves over widely-used baselines for the task.

研究の動機と目的

• 少数のターゲットフレームしか利用できない状況で、ソース動画の人物行動をターゲット動画にリターゲティングする課題に対処すること。
• 多様な外見（衣装、背景など）を有する異なる個人やシーンに対応できない普遍的生成モデルの限界を克服すること。
• 少数のサンプルによる適応によって、事前に学習された生成モデルを特定のターゲットドメインに迅速かつ効果的にカスタマイズする手法を開発すること。
• この性質を明示的に最適化しないままでも、生成された動画フレーム間に強い時間的整合性を保証すること。
• さまざまなショット数（K）や計算予算（T）に適応可能なメタ初期化を学習することで、訓練および推論のコストを低減すること。

提案手法

• 普遍的な生成器を、Kフレームのみを用いて特定のターゲットに適応させる少数サンプルカスタマイズ問題として、動画リターゲティングを定式化する。
• 一階のメタラーニングアルゴリズムReptileを、GANの生成器および識別器の両方の重みを同時にメタ最適化できるように適応させ、少数のサンプルからの効率的なファインチューニングを可能にする。
• スケルタルポーズを入力として受け取り、それに応じた画像フレームを生成する条件付き生成モデルを採用し、ターゲットフレームでのファインチューニングによってカスタマイズを実現する。
• メタラーニングを活用して、最小限の計算（Tイテレーション）で新しいターゲットに迅速に適応できる最適な初期化戦略を発見する。
• ファインチューニング中に生成フレーム間で衣装や背景の幾何構造が一貫して保たれるように、初期化を学習することで時間的整合性を確保する。
• 多様なソース-ターゲットペアでメタラーナーを学習させることで、推論時に未観測の俳優や環境に対しても一般化できるようにする。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングは、少数のデータで新しいターゲットに迅速に適応できる少サンプル動画リターゲティングに効果的に適用可能か？
• RQ2 メタラーニングで得た初期化は、ランダム初期化や事前学習済みモデルの初期化と比較して、少サンプル設定下でより優れた性能と時間的整合性を達成するか？
• RQ3 個人化の過程でショット数（K）および計算予算（T）の変化に伴い、MetaPixの性能はどのように変化するか？
• RQ4 メタラーニングで得たモデルは、KおよびTの異なる値に対しても一般化可能であり、コスト効率の良いデプロイメントを可能にするか？
• RQ5 明示的な時間的正則化なしに、メタラーニングで得た初期化は、生成フレーム間の時間的整合性をどの程度維持できるか？

主な発見

• MetaPixは、さまざまなショット数（K）および計算予算（T）において、ランダム初期化および事前学習済みモデルの両方を上回る性能を示し、K=5、T=200の条件下でSSIM=0.51を達成する。
• K=1の状況でも優れた性能を示しており、動画から画像へのリターゲティングにおいて最も挑戦的な少サンプル環境でも有効であることが示された。
• MetaPixは優れた一般化性能を示しており、T=200で学習したモデルは、テスト時に他のT値に対しても良好に一般化され、コスト効率の高い推論が可能である。
• メタラーニングで得た初期化は、ファインチューニングの初期段階から時間的整合性のある結果を生成するが、事前学習済みベースラインはフレーム間で背景や衣装に一貫性がなく、不整合を生じる。
• 高いメタラーニング学習率（ε=1.0）は、低い学習率（ε=0.1）よりも優れた性能（SSIM=0.51）を示しており、メタ最適化による向上の重要性が示された。
• メタラーニング中に識別器を固定しても、両方を同時に最適化する場合と同程度の性能を達成しており、GANにおけるメタラーニングには普遍的な識別器が十分である可能性を示唆している。