[論文レビュー] Photo Wake-Up: 3D Character Animation from a Single Photo

Chung-Yi Weng, Brian Curless+1 more|arXiv (Cornell University)|Dec 5, 2018

Human Motion and Animation参考文献 36被引用数 5

ひとこと要約

本稿では、被写体の輪郭に合わせてテンプレートメッシュを変形する2次元ワープ技術を用いて、1枚の写真から3次元アニメーション可能なキャラクターを生成する「Photo Wake-Up」を提案する。自己遮蔽（例：体幹の前で腕を前に出している場合）に対処しつつ、被写体の輪郭に正確に一致させる。主な貢献は、2次元から3次元に変換するパイプラインを新規に開発し、静止画からリアルな3次元アニメーションおよび拡張現実（AR）体験を可能にしたことである。従来の2次元または動画ベースの手法に比べ、リアリズムとインタラクティビティの面で優れている。

ABSTRACT

We present a method and application for animating a human subject from a single photo. E.g., the character can walk out, run, sit, or jump in 3D. The key contributions of this paper are: 1) an application of viewing and animating humans in single photos in 3D, 2) a novel 2D warping method to deform a posable template body model to fit the person's complex silhouette to create an animatable mesh, and 3) a method for handling partial self occlusions. We compare to state-of-the-art related methods and evaluate results with human studies. Further, we present an interactive interface that allows re-posing the person in 3D, and an augmented reality setup where the animated 3D person can emerge from the photo into the real world. We demonstrate the method on photos, posters, and art.

研究の動機と目的

• 1枚の2次元写真から衣装を着た人物の3次元アニメーションを可能にし、2次元シネマグラフや動画ベース手法の限界を克服すること。
• 複雑な輪郭（例：体幹の前で腕を前に出している場合の自己遮蔽を含む）に正確に3次元メッシュをフィットさせる課題に対処すること。
• インタラクティブな3次元ポーズ編集と、写真からリアルワールド空間にアニメーションキャラクターが出現する拡張現実（AR）体験をサポートするシステムを構築すること。
• 曖昧または抽象的な入力に対して、セグメンテーションの補正、スケルトンのフィッティング、テクスチャの補完をユーザーがガイドできるインターフェースを提供すること。
• さまざまな入力（写真、ポスター、アート作品など）に対して本手法の有効性を検証し、多様なビジュアルスタイルにわたる耐性を実証すること。

提案手法

• 本手法は、まず2次元人物セグメンテーション、スケルトン推定、および被写体のポーズに合わせたSMPLベースの3次元テンプレートメッシュのフィッティングから開始する。
• 被写体の輪郭に正確に一致させるために、画像空間でテンプレートメッシュを変形する新規な2次元ワープ技術を適用し、指や衣装の複雑なジオメトリを保持する。
• ラベルマップを導入してボディパーツ間の境界を定義し、ワープ処理中に部分的な自己遮蔽（例：体幹の前で腕が覆っている場合）をモデル化できるようにする。
• 変形された2次元メッシュを再び3次元空間にリフトし、入力写真の輪郭に正確に適合する完全にアニメーション可能なメッシュを生成する。
• インタラクティブなユーザーインターフェースにより、ジョイントを操作してリアルタイムでポーズ編集が可能となり、即座に3次元プレビューが生成される。
• HoloLensを介したARデプロイメントをサポートし、ユーザーが現実空間に写真から出現するアニメーション3次元キャラクターを視認できる。

実験結果

リサーチクエスチョン

• RQ1 1枚の2次元写真から、複雑な輪郭と自己遮蔽を保持したまま、正確に3次元アニメーション可能なメッシュを再構築できるか？
• RQ2 画像空間における2次元ワープをどのように活用すれば、初期テンプレートモデルの直接的な3次元変形よりも優れた3次元メッシュを生成できるか？
• RQ3 本手法は、2次元シネマグラフや動画ベース3次元再構築手法に比べ、リアリズムとインタラクティビティの面でどの程度向上するか？
• RQ4 自動セグメンテーションや外観モデリングに失敗した場合、ユーザーによる補正がテクスチャおよびジオメトリの忠実度を向上させるか？
• RQ5 AR環境およびインタラクティブ3次元表示環境において、1枚の写真から生成された3次元アニメーションの評価された品質はどの程度か？

主な発見

• 350名のMTurk参加者を対象とした人間研究では、平均的なアニメーション品質評価が3段階中2.76点であり、77.4％が結果を「良い！（nice!）」と評価した。
• 直接比較実験では、103名の参加者のうち86％が、[15]の2次元手法に比べ、本手法の3次元リアリズムと動きの質を好んだ。
• 本手法は、輪郭一致の面でSMPLフィッティング[6]およびマルチビュー変形[1]を顕著に上回り、特に指の詳細や複雑な輪郭の処理において優れている。
• 本手法で生成された3次元メッシュにより、HoloLensベースの視認体験が可能となり、2次元のみの手法では実現不可能だった。
• 制限事項として、モデル化されていない影、曖昧さに起因する3次元ポーズの誤差、一部のケース（例：靴）における非現実的なジオメトリが挙げられるが、抽象的・芸術的入力に対しても本手法は依然として頑健である。
• ユーザーの操作は、ディープラーニングベースの外観合成がぼやけた結果を出力した場合に特に、テクスチャ補完およびジオメトリの補正に有効であった。