[論文レビュー] Guided Super-Resolution as a Learned Pixel-to-Pixel Transformation.

Riccardo de Lutio, Stefano D’Aronco+2 more|arXiv (Cornell University)|Apr 2, 2019

Advanced Image Processing Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、学習可能な多層パーセプトロンを用いて、高分解能のガイド画像からソース画像ドメインへのピクセル単位のマッピングとしてスーパーレゾリューションを定式化する、新しい非教師付きガイド付きスーパーレゾリューション手法を提案する。出力ではなくマッピング関数にのみ正則化を行うことで、深度マップおよび木の高さマップのスーパーレゾリューションタスクにおいて、従来の手法よりもシャープでより自然な高分解能結果を生成する。

ABSTRACT

Guided super-resolution is a unifying framework for several computer vision tasks where the inputs are a low-resolution source image of some target quantity (e.g., perspective depth acquired with a time-of-flight camera) and a high-resolution guide image from a different domain (e.g., a gray-scale image from a conventional camera); and the target output is a high-resolution version of the source (in our example, a high-res depth map). The standard way of looking at this problem is to formulate it as a super-resolution task, i.e., the source image is upsampled to the target resolution, while transferring the missing high-frequency details from the guide. Here, we propose to turn that interpretation on its head and instead see it as a pixel-to-pixel mapping of the guide image to the domain of the source image. The pixel-wise mapping is parameterised as a multi-layer perceptron, whose weights are learned by minimising the discrepancies between the source image and the downsampled target image. Importantly, our formulation makes it possible to regularise only the mapping function, while avoiding regularisation of the outputs; Thus producing crisp, natural-looking images. The proposed method is unsupervised, using only the specific source and guide images to fit the mapping. We evaluate our method on two different tasks, super-resolution of depth maps and of tree height maps. In both cases we clearly outperform recent baselines in quantitative comparisons, while delivering visually much sharper outputs.

研究の動機と目的

• 異なるドメインからの高分解能ガイド画像を用いて、ソース画像（例：深度マップ）の高分解能出力を生成する課題に対処すること。
• 出力がぼやける原因となる、ソース画像をアップサンプリングしガイド特徴量に依存する標準的手法の限界を克服すること。
• 出力画像に正則化を施さないことで、微細なディテールとシャープネスを保持する手法を開発すること。
• ソース画像の高分解能の教師ありデータが不要な状態で、ソース画像とガイド画像のペアのみを用いた非教師付き学習を可能にすること。

提案手法

• ガイド画像からソース画像ドメインへのピクセル単位の変換としてガイド付きスーパーレゾリューションを再定式化し、ソース画像のアップサンプリングとは逆のアプローチを取ること。
• 学習可能な重みを有する多層パーセプトロン（MLP）を用いてピクセル単位のマッピングをパrameterizeすること。
• ソース画像と、ガイド画像をマッピングした出力のダウンサンプリング結果との乖離を最小化することでMLPを学習すること。
• 出力ではなくマッピング関数にのみ正則化を適用することで、高周波数ディテールを保持し、ぼやけを回避すること。
• ソース画像とガイド画像のペアにのみ依存するエンドツーエンドの非教師付き学習スキームを採用すること。
• マッピングプロセス中に特徴量のアライメントを実現するため、ガイド画像とソース画像の間の空間的対応関係を活用すること。

実験結果

リサーチクエスチョン

• RQ1 ガイド画像からソースドメインへの学習可能なピクセル単位のマッピングは、従来のスーパーレゾリューション手法よりも、ガイド付きスーパーレゾリューションタスクにおいて優れた性能を発揮できるか？
• RQ2 出力ではなくマッピング関数にのみ正則化を施すことで、よりシャープで自然な高分解能出力が得られるか？
• RQ3 高分解能の教師ありデータが不要な非教師付き手法が、ペaired高分解能ソース画像が存在しない状況でも最先端の性能を達成できるか？
• RQ4 本手法は、深度マップや木の高さマップのスーパーレゾリューションといった、さまざまなガイド付きスーパーレゾリューションタスクに一般化できるか？

主な発見

• 提案手法は、深度マップおよび木の高さマップのスーパーレゾリューションタスクにおいて、最近のベースラインと比較して優れた定量的性能を達成した。
• 視覚的結果から、顕著にシャープでより自然な出力が得られ、微細なディテールの保持が顕著に改善された。
• 高分解能のソース画像の教師ありデータが入手不可な状況下でも、本手法は既存の手法を上回るシャープネスと構造的忠実性を実現した。
• 出力に正則化を施さないことで、出力の変動をペナルティ化する手法よりも、高周波数ディテールの生成がより効果的に実現された。