[論文レビュー] Selective Image Super-Resolution

Ju Sun, Qiang Chen+2 more|arXiv (Cornell University)|Oct 27, 2010

Advanced Image Processing Techniques参考文献 28被引用数 5

ひとこと要約

本稿では、過分割、グループ化されたマルチタスクラッソ（GMTL）、およびスパースコーディングを統合することで、領域別、オブジェクト辞書ベース、マッティングで精錬されたスーパーサンプリングを実現する選択的画像スーパーサンプリングシステムを提案する。本手法は、オブジェクト領域にのみスーパーサンプリングを適用し、カテゴリ固有の辞書とマッティングによる境界精錬を用いることで、従来のブラインドスーパーサンプリングに比べて詳細回復とエッジ保持の両面で優れた視覚的品質を達成する。

ABSTRACT

In this paper we propose a vision system that performs image Super Resolution (SR) with selectivity. Conventional SR techniques, either by multi-image fusion or example-based construction, have failed to capitalize on the intrinsic structural and semantic context in the image, and performed "blind" resolution recovery to the entire image area. By comparison, we advocate example-based selective SR whereby selectivity is exemplified in three aspects: region selectivity (SR only at object regions), source selectivity (object SR with trained object dictionaries), and refinement selectivity (object boundaries refinement using matting). The proposed system takes over-segmented low-resolution images as inputs, assimilates recent learning techniques of sparse coding (SC) and grouped multi-task lasso (GMTL), and leads eventually to a framework for joint figure-ground separation and interest object SR. The efficiency of our framework is manifested in our experiments with subsets of the VOC2009 and MSRC datasets. We also demonstrate several interesting vision applications that can build on our system.

研究の動機と目的

• 全画像に均一に強化を適用する従来のスーパーサンプリング手法の限界、すなわちエッジのぼやけや過剰な平滑化を是正すること。
• 画像全体ではなく、顕著なオブジェクト領域に焦点を当てることで、スーパーサンプリングにセマンティックおよび構造的文脈を統合すること。
• アルファマッティング技術を用いた精錬により、スーパーサンプリング画像における境界の正確性を向上させること。
• 選択的スーパーサンプリングを活用して、オブジェクトポップアップ、ズームブルーム、画像コンpositingといった新たなビジョン応用を可能にすること。
• GMTLとスパースコーディングに基づく統一フレームワークを用いて、図背景分離とスーパーサンプリングを同時に解決すること。

提案手法

• システムはまず、低解像度入力画像をスーパーパッチに過分割することで、潜在的なオブジェクト領域を局所化する。
• 事前学習済みのオブジェクトおよび背景の辞書を用いたグループ化されたマルチタスクラッソ（GMTL）を用い、各セグメントごとに再構築係数と図背景分離を同時に推定する。
• 画像パッチの辞書学習に、一次および二次の微分特徴（例：ソーベルおよびラプラシアンフィルタ）を用いたスパースコーディングを実施する。
• グランドトゥルースセグメンテーションを用いて、50,000個の低解像度および高解像度パッチから抽出されたデータをもとに、オブジェクト固有の辞書（1クラスあたり1024個の基本パッチ）を学習する。
• 特に複雑な境界（例：牛の角、犬の頭部）において、GMTLで生成されたオブジェクトマップの精錬を、マッティングを用いて行う。
• 学習済みのオブジェクト辞書を用いて、精錬されたオブジェクト領域にのみスーパーサンプリングを適用する。背景はぼかし処理またはそのままである。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト領域にのみ焦点を当てた選択的スーパーサンプリングは、全画像スーパーサンプリングと比較して視覚的品質を向上させることができるか？
• RQ2 共有辞書学習を用いたGMTLは、低解像度画像における図背景分離をどの程度効果的に向上させることができるか？
• RQ3 マッティングによる精錬は、スーパーサンプリング画像における境界の正確性をどの程度向上させるか？
• RQ4 セマンティックセグメンテーション、スパースコーディング、およびマッティングの統合により、標準的なスーパーサンプリングを超える新たな視覚的応用が可能になるか？
• RQ5 カテゴリ固有の辞書を用いることで、汎用的または背景ベースの辞書と比較して、より優れた詳細回復が達成できるか？

主な発見

• GMTLに基づく図背景分離手法は、パッチ単位の投票と比較して、視覚的にもより信頼性の高いオブジェクト領域を生成した。
• マッティングは、牛の角や犬の頭部のような複雑な構造における境界の詳細を顕著に向上させ、断片化を低減しエッジの明瞭さを向上させた。
• 本システムは、低解像度入力と比較して、はるかに豊富なテクスチャおよび構造的詳細を有するスーパーサンプリングパッチを達成した。
• フレームワークは、前面または背景領域を特に処理することで、オブジェクトポップアップやズームブルームといった新たな視覚効果を成功裏に実現した。
• VOC2009およびMSRCデータセットを用いた実験では、1カテゴリあたり15枚のテスト画像と全データの10％を訓練に使用したところ、本手法の有効性が実証された。
• カテゴリ固有の辞書（例：ネコ、イヌ、ヤギ）を用いることで、汎用的手法と比較して、より正確で文脈的に適切なスーパーサンプリング結果が得られた。