[論文レビュー] Image Inpainting Using Directional Tensor Product Complex Tight Framelets

Yi Shen, Bin Han+1 more|arXiv (Cornell University)|Jul 11, 2014

Image and Signal Denoising Methods参考文献 24被引用数 8

ひとこと要約

本稿では、自然画像に含まれるコマツクリとテクスチャを同時に再構成するため、方向性テンソル積複素正規直交フレームレット（TP-CTFs）を用いた新しい画像穴埋めアルゴリズムを提案する。l1正則化によるスパarsityとl2正則化による滑らかさの両方を組み合わせたバランス型アプローチのグループ化効果を活用することで、特にノイズがかかる状況下でも最先端のフレームベース手法を上回る優れた性能を達成する。

ABSTRACT

In this paper we are particularly interested in the image inpainting problem using directional complex tight wavelet frames. Under the assumption that frame coefficients of images are sparse, several iterative thresholding algorithms for the image inpainting problem have been proposed in the literature. The outputs of such iterative algorithms are closely linked to solutions of several convex minimization models using the balanced approach which simultaneously combines the $l_1$-regularization for sparsity of frame coefficients and the $l_2$-regularization for smoothness of the solution. Due to the redundancy of a tight frame, elements of a tight frame could be highly correlated and therefore, their corresponding frame coefficients of an image are expected to close to each other. This is called the grouping effect in statistics. In this paper, we establish the grouping effect property for frame-based convex minimization models using the balanced approach. This result on grouping effect partially explains the effectiveness of models using the balanced approach for several image restoration problems. Inspired by recent development on directional tensor product complex tight framelets (TP-CTFs) and their impressive performance for the image denoising problem, in this paper we propose an iterative thresholding algorithm using a single tight frame derived from TP-CTFs for the image inpainting problem. Experimental results show that our proposed algorithm can handle well both cartoons and textures simultaneously and performs comparably and often better than several well-known frame-based iterative thresholding algorithms for the image inpainting problem without noise. For the image inpainting problem with additive zero-mean i.i.d. Gaussian noise, our proposed algorithm using TP-CTFs performs superior than other known state-of-the-art frame-based image inpainting algorithms.

研究の動機と目的

• 自然画像に含まれるコマツクリ成分とテクスチャ成分の両方を効果的に処理できる単一フレームベースの画像穴埋め手法の開発。
• バランス型アプローチ（l1＋l2正則化）を用いたフレームベース凸最小化の文脈において、グループ化効果の性質を確立すること。
• 方向性TP-CTFsを活用することで、加法的i.i.d.ガウスノイズ下での画像穴埋め性能を向上させること。
• TP-CTFsから導かれる単一のタイトフレームが、コマツクリとテクスチャの同時穴埋めにおいて、マルチフレーム手法を上回ることを実証すること。

提案手法

• 画像に含まれるコマツクリ成分とテクスチャ成分の両方のスパース表現に、方向性テンソル積複素正規直交フレームレット（TP-CTFs）を単一の冗長タイトフレームとして用いる。
• スパarsityを確保するl1正則化と滑らかさを確保するl2正則化を組み合わせた凸最小化モデルに基づく反復的しきい値処理アルゴリズム（バランス型アプローチ）を適用する。
• TP-CTFsのエネルギー保存性と過剰な性質を活用し、再構成の忠実性を向上させるとともに、相関の高いフレーム係数のグループ化を強化する。
• 冗長タイトフレームの文脈において、バランス型アプローチのグループ化効果の性質を導出し、証明する。これにより、画像修復におけるその有効性を説明する。
• 凸最適化問題を効率的に解くために、プライマル・デュアル分割スキームを実装する。
• 各画像とノイズレベルに応じて適応的にパラメータを調整する固定点しきい値戦略を採用し、手動によるパラメータ選定を回避する。

実験結果

リサーチクエスチョン

• RQ1 単一の方向性TP-CTFベースのタイトフレームは、画像穴埋めにおいてコマツクリ成分とテクスチャ成分の両方を効果的に再構成できるか？
• RQ2 バランス型アプローチ（l1＋l2正則化）は、冗長タイトフレーム系においてグループ化効果を示すか？その効果は画像穴埋め性能にどのように影響するか？
• RQ3 i.i.d.ゼロ平均ガウスノイズ下において、本手法は最先端のフレームベース穴埋め手法と比較してPSNRおよび視覚的品質の点で優れているか？
• RQ4 バランス型アプローチにおける理論的グループ化効果の性質は、画像修復におけるこのようなモデルの実験的成功を部分的に説明できるか？

主な発見

• ノイズのない状況下でも、本手法は既存のフレームベース手法よりも高いPSNR値を達成しており、Hill, Man, Boat, Barbara, Mandrillといった標準テスト画像において顕著に顕著である。
• σ = 30 のi.i.d.ゼロ平均ガウスノイズ下で、Hill画像（マスク Text 3）に対してPSNR 27.84を達成し、比較対象のすべての手法を上回った。
• 50％のランダムな画素欠損下でも、Hill画像でPSNR 28.14を達成し、[3, 4, 5, 16, 23] が含まれるすべてのテストケースで他手法を上回った。
• 高いノイズ（σ = 50）下でも、Hill画像（マスク Text 3）でPSNR 25.56を達成し、他の手法と比べ顕著に優れた性能を示した。
• 理論的分析により、冗長タイトフレームを用いたバランス型アプローチにおけるグループ化効果の性質が証明され、画像修復におけるその有効性の部分的説明が得られた。
• 視覚的結果およびズームイン比較から、本手法は競合手法と比較して、特にBarbaraのドレスやManの顔貌特徴のような複雑な領域において、細かいテクスチャと鋭いエッジをよりよく保持していることが確認された。