[論文レビュー] A Convex Approach for Image Hallucination

Peter Innerhofer, Thomas Pock|arXiv (Cornell University)|Apr 26, 2013

Advanced Image Processing Techniques参考文献 4被引用数 5

ひとこと要約

本稿では、データベースから得たアラインされた顔画像を活用して高周波成分を回復することで、単一画像顔ハイパーリゾリューションのための凸最適化フレームワークを提案する。全般的な凸なプライマル・デュアル問題として定式化され、全変動正則化、再構成制約、および外れ値に強いハイパーリゾリューション項を組み合わせることで、PubFig83データセット上で最先端のPSNR（24.13 dB）とSSIM（0.750）を達成し、従来の非凸アプローチを上回る性能を発揮する。

ABSTRACT

In this paper we propose a global convex approach for image hallucination. Altering the idea of classical multi image super resolution (SU) systems to single image SU, we incorporate aligned images to hallucinate the output. Our work is based on the paper of Tappen et al. where they use a non-convex model for image hallucination. In comparison we formulate a convex primal optimization problem and derive a fast converging primal-dual algorithm with a global optimal solution. We use a database with face images to incorporate high-frequency details to the high-resolution output. We show that we can achieve state-of-the-art results by using a convex approach.

研究の動機と目的

• 類似画像から高周波成分を統合することで、単一画像スーパーレゾリューションの不適切な性質を緩和すること。
• 非凸モデルが顔ハイパーリゾリューションにおいて抱える限界、例えば局所最適解への陥落や、劣悪な候補選択に対する感受性を克服すること。
• 凸最適化の原則に従い、グローバルに最適な、高速収束性を持つアルゴリズムを開発すること。
• 凸定式化により、候補画像選択におけるアラインメント誤差や外れ値に対するロバストネスを向上させること。

提案手法

• 全変動（TV）正則化、再構成制約、およびL1ベースのハイパーリゾリューション項を組み合わせた凸プライマル最小化問題を定式化する。
• SIFTFlowを用いて、アラインメントエネルギーに基づき、データベースから類似顔画像を検索・アラインメントし、候補選択にPatchMatchを置き換える。
• プライマル定式化から一般化されたサドルポイント問題を導出し、Chambolleらの高速収束性を持つプライマル・デュアルアルゴリズムで解く。
• 線形システムの解法における収束を加速するために、共役勾配法に「ホットスタート」初期化を適用する。
• カラー画像のためのチャンネル別最適化を採用し、今後の課題として、色の取り扱いを改善するためのベクトル型全変動を提案する。
• 入力としてダウンサンプリングされたバイキュービック低分解能画像（25×25）とアラインされた候補画像（100×100）を用い、高分解能出力（100×100）を推定する。

実験結果

リサーチクエスチョン

• RQ1 非凸モデルと比較して、グローバル最適性を保証しつつ、より優れたまたは同等のハイパーリゾリューション性能を達成できるか。
• RQ2 データベースから得たアラインされた候補画像を組み込むことで、単一画像スーパーレゾリューションにおける高周波成分回復がどの程度向上するか。
• RQ3 非凸モデルと比較して、凸ハイパーリゾリューションモデルのロバストネスが、劣悪またはアラインメントが悪い候補画像に対する感受性をどの程度低減するか。
• RQ4 正則化項および制約項（TV、再構成、ハイパーリゾリューション）の選択が、知覚的品質およびPSNRやSSIMといった定量的指標にどのように影響を与えるか。

主な発見

• 提案された凸アプローチは、PubFig83データセット上で平均PSNR 24.13 dBを達成し、非凸手法であるTappenらの24.05 dBを上回った。
• 平均SSIMインデックスは0.750を記録し、Tappenらの0.748をわずかに上回り、構造的類似性の向上を示した。
• 共役勾配ソルバーとホットスタート初期化を用いたプライマル・デュアル法により、収束が速やかに実現された。
• SIFTFlowによる高品質なアラインメントが不可欠であることが結果から示された—劣悪なアラインメントは、優れた候補選択があっても出力がぼやける。
• L1ベースのハイパーリゾリューション項のおかげで、外れ値に対するロバストネスが向上し、非凸モデルと比較してアーティファクトが減少した。
• 高いダウンサンプリング係数に対しても、性能が著しく低下せず、出力は知覚的にシャープで詳細が保たれたままだった。