[論文レビュー] Image Inpainting Based on a Novel Criminisi Algorithm

Yuheng Song, Yan Hao|arXiv (Cornell University)|Aug 13, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 4

ひとこと要約

本稿では、誤差伝搬と最適でないパッチマッチングの問題を解決するため、画像補填のための改良されたCriminisiアルゴリズムを提案する。マンハッタン距離の平均を用いた優先度計算の再定義と、ユークリッド距離をマッチング戦略に統合することで、視覚的品質を向上させ、アーティファクトを低減する。定量的および定性的な評価において優れた結果を示している。

ABSTRACT

In view of the problem of image inpainting error continuation and the deviation of finding best match block, an improved Criminisi algorithm is proposed. The improvement was mainly embodied in two aspects. In the repairing order aspect, we redefine the calculation formula of the priority. In order to solve the problem of error continuation caused by local confidence item updating, the mean value of Manhattan distance is used for replace the confidence item. In the matching strategy aspect, finding the best match block not only depend on the difference of the two pixels, but also consider the matching region. Therefore, Euclidean distance is introduced. Experiments confirm that the improved algorithm can overcome the insufficiencies of the original algorithm. The repairing effect has been improved, and the results have a better visual appearance.

研究の動機と目的

• 従来のCriminisiアルゴリズムにおける信頼度更新メカニズムに起因する誤差継続の問題を解消すること。
• ピクセル単位の差異を超えた領域的文脈を組み込むことで、パッチマッチングの正確性を向上させること。
• 優先度と類似度メトリクスを変更することで、補填画像の視覚的品質を向上させること。
• 修復領域における視覚的アーティファクトを低減し、構造的一致性を向上させること。
• 比較実験を通じて、提案手法の有効性を検証すること。

提案手法

• 誤差伝搬を緩和するために、信頼度項目を置き換えることで優先度計算式を再定義し、マンハッタン距離の平均を用いる。
• 空間的文脈を考慮し、マッチングの正確性を向上させるために、ユークリッド距離を補助的指標として導入する。
• 構造的一致性が高く、不確実性が低い領域を優先するように、パッチ選択プロセスを変更する。
• 強度差と空間的近接性を組み合わせたハイブリッド類似度測度を用いることで、より良いパッチマッチングを実現する。
• 修復プロセスの安定化を図るため、周囲ピクセルのマンハッタン距離の平均を用いて信頼度値を更新する。
• 最優先領域から反復的にアルゴリズムを適用することで、構造的一致性の伝搬を確保する。

実験結果

リサーチクエスチョン

• RQ1 Criminisiアルゴリズムにおける誤差伝搬は、どのようにして画像補填の過程で低減できるか？
• RQ2 領域的文脈を組み込むことで、パッチマッチングの品質はどの程度向上するか？
• RQ3 マンハッタン距離に基づく修正された優先度式は、補填結果にどのように寄与するか？
• RQ4 ユークリッド距離の統合は、修復画像の視覚的品質にどのように影響するか？
• RQ5 提案手法は、定量的および定性的な指標において、元のCriminisiアルゴリズムを上回るか？

主な発見

• 優先度計算において信頼度項目をマンハッタン距離の平均に置き換えることで、誤差伝搬が顕著に低減された。
• マッチング戦略にユークリッド距離を統合することで、より正確で文脈に配慮したパッチ選択が可能になった。
• 視覚的結果では、元のCriminisiアルゴリズムと比較して構造的一致性が向上し、アーティファクトが減少した。
• 定性的な評価により、修復領域におけるテクスチャおよびエッジの保持が向上したことが確認された。
• 実験により、深層学習や複雑な最適化を必要とせず、全体的な補填品質が向上することが示された。
• 修正された優先度およびマッチング戦略が、元のCriminisi手法の主な限界を効果的に是正していることが結果から確認された。