[論文レビュー] Patch-based Texture Synthesis for Image Inpainting

Tao Zhou, Brian Alan Johnson+1 more|arXiv (Cornell University)|May 5, 2016

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 8

ひとこと要約

本稿では、幾何的制約とテクスチャ記述子を用いた粗-細最適化フレームワークにより、計算効率と構造的一致性を向上させる、画像補填のためのパッチベースのテクスチャ合成手法を提案する。従来の例示ベース手法に比べて速度と視覚的品質で優れており、物体除去や傷の修復を含む多様な画像タイプにおいて、高速な推論と高忠実度の結果を達成する。

ABSTRACT

Image inpaiting is an important task in image processing and vision. In this paper, we develop a general method for patch-based image inpainting by synthesizing new textures from existing one. A novel framework is introduced to find several optimal candidate patches and generate a new texture patch in the process. We form it as an optimization problem that identifies the potential patches for synthesis from an coarse-to-fine manner. We use the texture descriptor as a clue in searching for matching patches from the known region. To ensure the structure faithful to the original image, a geometric constraint metric is formally defined that is applied directly to the patch synthesis procedure. We extensively conducted our experiments on a wide range of testing images on various scenarios and contents by arbitrarily specifying the target the regions for inference followed by using existing evaluation metrics to verify its texture coherency and structural consistency. Our results demonstrate the high accuracy and desirable output that can be potentially used for numerous applications: object removal, background subtraction, and image retrieval.

研究の動機と目的

• 既存の例示ベース補填手法が大きな欠損領域で高い計算コストとぼやけた結果を生じるという限界を是正すること。
• 幾何的制約を用いたパッチベースの合成により、画像補填におけるテクスチャの一貫性と構造的一致性を向上させること。
• 逐次削除アルゴリズムの導入と階層的探索戦略によるパッチ選択の最適化により、計算効率を向上させること。
• 物体除去や背景回復を含む多様なシナリオにおいて、視覚的に妥当な補填結果を達成すること。

提案手法

• 本手法は、既知の画像領域から最適な候補パッチを特定するために、粗-細の方法で解く最適化問題としてパッチ選択を定式化する。
• テクスチャ記述子を用いて、候補パッチとターゲット領域間のマッチングをガイドし、テクスチャの一貫性を確保する。
• 幾何的制約メトリクスを明示的に定義し、パッチ合成の過程で直接適用することで、構造的忠実性を保持する。
• 計算コストを低減しながらも高品質なパッチ選択を維持するために、逐次削除アルゴリズムを用いる。
• ピクセルの信頼度値を統合して埋め込み順序を優先することで、視覚的妥当性を向上させる。
• 任意の欠損領域を持つ広範なテスト画像に対して、標準的な指標を用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 パッチベースのテクスチャ合成は、どのように最適化することで、補填における効率性と構造的一致性を向上させられるか？
• RQ2 幾何的制約メトリクスは、パッチ合成中に構造的詳細をどのように保持するか？
• RQ3 逐次削除を伴う粗-細最適化戦略は、例示ベース補填におけるグリーディ探索に比べて、より優れたパフォーマンスを達成できるか？
• RQ4 テクスチャ記述子の使用は、欠損領域における合成テクスチャの品質をどのように向上させるか？
• RQ5 提案手法は、計算速度と視覚的忠実度の観点で、既存のアルゴリズムをどの程度上回るか？

主な発見

• 物体除去タスクにおいて、本手法は110秒で処理を完了したのに対し、ベースライン手法[1]は233秒を要し、顕著な高速化が確認された。
• 2番目の物体除去タスクでは、本手法が22秒、ベースラインが43秒を要し、さらなる効率性の向上が裏付けられた。
• 400 × 300の画像に対しては、本手法が32秒、ベースラインが82秒を要し、一貫したパフォーマンス向上が得られた。
• 繰り返しパターンが存在する領域でも、視覚的に一貫した結果を生成し、テクスチャの一貫性が保たれた。これは、従来手法がグローバルエネルギー最小化を達成できない領域でも同様の結果を示している。
• より大きなパッチ（9×9）を用いた場合、エネルギー関数の最小化がより効果的に行われ、最適化性能の向上が示された。
• 結果として、本手法は高視覚的品質と高い構造的一致性を達成しており、物体除去、背景除去、画像検索などの応用に適していることが示された。