[論文レビュー] Bézier curves in the space of images

Alexander Effland, Martin Rumpf+3 more|arXiv (Cornell University)|Mar 9, 2015

3D Shape Modeling and Analysis参考文献 16被引用数 5

ひとこと要約

本稿では、画像の無限次元空間にBézier曲線を導入する。これは、画像輸送と強度変化を組み合わせたメタモルフィシスモデルに基づくRiemann計量を用いて、de Casteljauのアルゴリズムを一般化することで実現される。この手法により、制御画像からのグローバルな影響を受ける滑らかで時間的に整合性のある画像補間が可能となり、顔のモーフィングやスケッチによる形状アニメーションで実証されている。

ABSTRACT

Bézier curves are a widespread tool for the design of curves in Euclidian space. This paper generalizes the notion of Bézier curves to the infinite-dimensional space of images. To this end the space of images is equipped with a Riemannian metric which measures the cost of image transport and intensity variation in the sense of the metamorphosis model by Miller and Younes. Bézier curves are then computed via the Riemannian version of de Casteljau's algorithm, which is based on a hierarchical scheme of convex combination along geodesic curves. Geodesics are approximated using a variational discretization of the Riemannian path energy. This leads to a generalized de Casteljau method to compute suitable discrete Bézier curves in image space. Selected test cases demonstrate qualitative properties of the approach. Furthermore, a Bézier approach for the modulation of face interpolation and shape animation via image sketches is presented.

研究の動機と目的

• 古典的なBézier曲線をEuclidean空間から画像の無限次元多様体へ拡張すること。
• 画像空間における測地線凸結合を用いたde CasteljauのアルゴリズムのRiemann一般化を開発すること。
• 複数の制御画像からの特徴を保持する滑らかで時間的に整合性のある画像補間を可能にすること。
• 最小限のユーザ入力で顔補間や形状アニメーションへの実用的応用を示すこと。
• 階層的測地線補間を用いた形状および画像多様体上の曲線モデリングの基盤を提供すること。

提案手法

• 画像空間に、画像輸送と強度変化のバランスを取るメタモルフィシスモデルに基づくRiemann計量を導入する。
• 経路エネルギーの変分的時間離散化により離散測地線を定義し、安定かつ正確な測地線補間を可能にする。
• 離散測地線に沿った階層的凸結合を用いたRiemann版de Casteljauのアルゴリズムを適用し、Bézier曲線を計算する。
• 離散経路エネルギーの定式化を用いて測地線を近似し、無限次元設定における数値安定性を確保する。
• 固定された時間ステップ数Kを用いたアルゴリズム実装を行い、パラメータδ（輸送コスト）とγ（強度変化コスト）を調整する。
• 制御画像スケッチを用いて、腕の曲げや象の部位の再配置といった複雑な形状変化のアニメーションを実現する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてBézier曲線をEuclidean空間から画像の無限次元多様体へ一般化できるか？
• RQ2 どのRiemann構造が画像空間における意味的な測地線補間と凸結合を可能にし、曲線生成に寄与するか？
• RQ3 de Casteljauのアルゴリズムは、直線ではなく測地線を用いることで、滑らかで時間的に整合性のある画像曲線を計算するために適応可能か？
• RQ4 複数の制御画像からの特徴が、自然でグローバルに整合性のある方法で、結果の画像曲線にどのように影響を与えるか？
• RQ5 離散的Bézier曲線は、最小限のユーザ定義制御画像から、複雑なアニメーションをどれほど効果的にモデリングできるか？

主な発見

• 提案手法は、顔の特徴や物体の形状といった制御画像からのグローバルな特徴を保持する、時間的に滑らかな画像空間におけるBézier曲線を生成する。
• 図1の離散Bézier曲線は、特徴をシーケンス全体に均等に分散させる点で、ピecewise測地線補間を上回っている。顔Aのあごは時間ステップ6まで可視であり、顔Bのひげは全期間にわたり持続している。
• 腕のアニメーション例（図8）では、Bézier曲線が曲げ運動を的確に再構成しているが、測地線パスは前腕を収縮させてしまうため、制御点の利点が顕著に現れている。
• 象のアニメーション（図9）では、単一のソースから得た4つの制御画像のみを用いても、頭の回転や脚の挙上といった複雑な非剛体変形をモデル化できている。
• 顔補間ではK=8の時間ステップ、δ=7.5×10⁻³、γ=10⁻³を用い、象の場合はδ=4×10⁻³を用いることで、滑らかで自然な画像シーケンスが得られた。
• 変分的離散化によるメタモルフィシス経路エネルギーの安定的近似により、画像曲線のロバストで効率的な計算が可能となった。