[論文レビュー] Image Inpainting by Kriging Interpolation Technique

Firas A. Jassim|arXiv (Cornell University)|Jun 1, 2013

Generative Adversarial Networks and Image Synthesis参考文献 20被引用数 14

ひとこと要約

本論文では、k×k画素ブロック内の空間相関を活用することで、損傷領域を自動的に回復するKriging補間を用いた新しい統計的手法を提案する。この手法は、大規模な損傷領域であっても構造的・テクスチャ的詳細を保持し、スクラッチやテキスト被覆があるテスト画像で高いPSNR値を達成する。

ABSTRACT

Image inpainting is the art of predicting damaged regions of an image. The manual way of image inpainting is a time consuming. Therefore, there must be an automatic digital method for image inpainting that recovers the image from the damaged regions. In this paper, a novel statistical image inpainting algorithm based on Kriging interpolation technique was proposed. Kriging technique automatically fills the damaged region in an image using the information available from its surrounding regions in such away that it uses the spatial correlation structure of points inside the k-by-k block. Kriging has the ability to face the challenge of keeping the structure and texture information as the size of damaged region heighten. Experimental results showed that, Kriging has a high PSNR value when recovering a variety of test images from scratches and text as damaged regions.

研究の動機と目的

• 手作業で時間がかかる手法に依存しない自動的なデジタル画像補完手法の開発を目的とする。
• 損傷領域のサイズが大きくなるに従って、画像の構造とテクスチャを維持するという課題に対処することを目的とする。
• 画像データ内の空間相関を活用して、補完の正確性と視覚的品質を向上させることを目的とする。
• スクラッチやテキスト被覆などの多様な種類の画像損傷を回復する際のKriging補間の性能を評価することを目的とする。

提案手法

• 本手法は、地理統計的手法であるKriging補間を用い、周囲の既知の画素に基づいて損傷領域内の画素値を予測する。
• k×k画素ブロック内の空間相関構造をモデル化することで、補完プロセスをガイドする。
• 隣接画素の重み付き平均を用いて推定分散を最小化することで、欠損画素の最も可能性の高い値を推定する。
• 空間共分散パラメータは周囲の損傷のない領域から学習され、補間重みを適応的に調整する。
• 大規模な損傷領域に対処するために、繰り返しまたはブロック単位で適用され、局所的なテクスチャと構造を保持する。
• さまざまな損傷タイプを有するテスト画像を用いて、PSNRを定量的指標として性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スクラッチやテキスト被覆による損傷領域をKriging補間で効果的に回復でき、視覚的品質を保持できるか？
• RQ2 画像パッチ内の空間相関構造が、補完結果の正確性にどのように影響するか？
• RQ3 損傷領域のサイズが大きくなるに従って、Krigingがテクスチャと構造的詳細をどの程度保持できるか？
• RQ4 PSNRおよび視覚的忠実度の観点から、本手法は従来の補完技術と比較してどのように差をつけるか？

主な発見

• 提案されたKrigingベースの補完手法は、さまざまな種類の損傷を有するテスト画像で高いPSNR値を達成し、強力な定量的性能を示した。
• 本手法は、大規模な損傷領域であっても、テクスチャと構造的詳細の両方を効果的に保持した。
• 実験結果から、Kriging補間は画像の一貫性と視覚的品質を維持する点で、従来の補間手法を上回ることが示された。
• 空間相関のモデリングにより、欠損画素値の適応的かつ正確な予測が可能となり、全体的な補完品質が向上した。