[論文レビュー] A bi-level view of inpainting - based image compression

Yunjin Chen, René Ranftl+1 more|arXiv (Cornell University)|Jan 16, 2014

Advanced Image Processing Techniques参考文献 10被引用数 10

ひとこと要約

本稿では、補間に基づく画像圧縮のための二段階最適化フレームワークを提案し、支援ピクセルの選択を最適化することで再構成品質を向上させている。効率的なアルゴリズムとして逐次プリコンディショニングプライマルデュアルおよびiPianoを導入し、バイハーモニック補間が僅か5%のピクセルのみを用いてもほぼ完璧な画像回復を達成できることを示している。これはラプラシアンモデルや全 variation モデルを著しく上回る性能を発揮する。

ABSTRACT

Inpainting based image compression approaches, especially linear and non-linear diffusion models, are an active research topic for lossy image compression. The major challenge in these compression models is to find a small set of descriptive supporting points, which allow for an accurate reconstruction of the original image. It turns out in practice that this is a challenging problem even for the simplest Laplacian interpolation model. In this paper, we revisit the Laplacian interpolation compression model and introduce two fast algorithms, namely successive preconditioning primal dual algorithm and the recently proposed iPiano algorithm, to solve this problem efficiently. Furthermore, we extend the Laplacian interpolation based compression model to a more general form, which is based on principles from bi-level optimization. We investigate two different variants of the Laplacian model, namely biharmonic interpolation and smoothed Total Variation regularization. Our numerical results show that significant improvements can be obtained from the biharmonic interpolation model, and it can recover an image with very high quality from only 5% pixels.

研究の動機と目的

• ランダムサンプリングに依存するのではなく、補間のための支援ピクセルの選択を最適化することで、損失圧縮の性能を向上させること。
• 最適なデータポイントを特定するために数百万回の反復を要する従来手法の計算効率の低さを是正すること。
• ラプラシアン補間をより一般的なモデル、特にバイハーモニックおよび滑らかにした全 variation 正則化に拡張し、再構成の忠実度を向上させること。
• 非凸で大規模な二段階最適化問題を解くために、高速かつスケーラブルなアルゴリズムである逐次プリコンディショニングプライマルデュアルおよびiPianoを開発すること。
• バイハーモニック補間がわずか5%のピクセルからでも高品質な画像再構成を可能にすることを実験的に検証すること。

提案手法

• 最適なデータポイント選択を二段階最適化問題として定式化し、上位層でマスクを、下位層で補間モデルを最適化する。
• ベースラインとしてラプラシアン補間モデルを用い、境界条件としてディリクレおよびノイマン条件を伴う偏微分方程式 $-\Delta u = 0$ で表現する。
• 曲率を罰則する仕組みを導入することで滑らかさを強化するバイハーモニック補間を、偏微分方程式 $\Delta^2 u = 0$ で拡張する。
• 滑らかにした全 variation (TV) 正則化を適用し、区分的滑らかさを促進する。下位層の問題は $\|\nabla u\|_\varepsilon + \frac{1}{2}\|B^{1/2}(u - S^T x)\|^2_2$ を最小化する。
• 陰関数定理を用いて勾配を計算した後、上位層の最適化問題に L-BFGS を適用する。
• 2つの効率的なソルバーである逐次プリコンディショニングプライマルデュアルおよびiPianoを導入し、非凸かつ大規模な問題に対する収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 ランダムサンプリングではなく最適な支援ピクセルを選択することで、二段階最適化が補間ベースの画像補間圧縮を著しく改善できるか？
• RQ2 低サンプリングレート下での再構成品質において、バイハーモニック補間および滑らかにした全 variation 正則化は、標準的なラプラシアン補間と比べてどの程度優れているか？
• RQ3 iPiano や逐次プリコンディショニングプライマルデュアルといった高速な一次最適化アルゴリズムが、最適ピクセル選択に伴う大規模で非凸な二段階最適化問題を効果的に解けるか？
• RQ4 最適化された補間モデルを用いる場合、視覚的に満足できる、あるいはほぼ完璧な画像再構成を達成するために必要な最小ピクセル数はどの程度か？
• RQ5 正則化の選択（ラプラシアン、バイハーモニック、TV）が、この圧縮フレームワークの性能および安定性に本質的に影響を与えるか？

主な発見

• バイハーモニック補間は、テスト画像においてわずか5%のピクセルのみを用いても、ほぼ完璧な画像再構成を達成し、平均二乗誤差 (MSE) が4.85まで低下した。
• バイハーモニックモデルは、ラプラシアンおよび滑らかにしたTV正則化を上回り、ベースライン手法と比較してMSEを最大70%まで低減した。
• 滑らかにしたTV正則化モデルは、計算時間を延長してもラプラシアン補間の性能を向上させることができず、この特定の圧縮設定では限定的な利点しか示さなかった。
• iPianoおよび逐次プリコンディショニングプライマルデュアルアルゴリズムは、従来の手法が数百万回の反復を要するのに対し、収束時間を顕著に短縮した。
• 提案された二段階最適化フレームワークにより、非ランダムで情報量の多いデータポイントの選択が可能となり、低サンプリングレート下でも優れた再構成品質が得られた。
• 上位層最適化に L-BFGS を用いることで、陰関数定理を介した効率的な勾配計算が可能となり、全体のスケーラビリティが確保された。