[論文レビュー] Is Image Super-resolution Helpful for Other Vision Tasks?

Dengxin Dai, Yujian Wang+2 more|arXiv (Cornell University)|Sep 23, 2015

Advanced Image Processing Techniques参考文献 42被引用数 10

ひとこと要約

本稿は、画像超解像（ISR）が下流のビジョンタスクにおける性能を向上させるかを調査し、エッジ検出、セマンティックセグメンテーション、数字認識、シーン認識の4つのタスクで6種類のISR手法を評価した。結果として、低解像度入力においてISRが一貫して精度を向上させることを示したが、PSNR、SSIMなど一般的な知覚的指標は相関は高いものの、実際のタスクにおける有用性の完全な代理指標とはならないことがわかった。

ABSTRACT

Despite the great advances made in the field of image super-resolution (ISR) during the last years, the performance has merely been evaluated perceptually. Thus, it is still unclear whether ISR is helpful for other vision tasks. In this paper, we present the first comprehensive study and analysis of the usefulness of ISR for other vision applications. In particular, six ISR methods are evaluated on four popular vision tasks, namely edge detection, semantic image segmentation, digit recognition, and scene recognition. We show that applying ISR to input images of other vision systems does improve their performance when the input images are of low-resolution. We also study the correlation between four standard perceptual evaluation criteria (namely PSNR, SSIM, IFC, and NQM) and the usefulness of ISR to the vision tasks. Experiments show that they correlate well with each other in general, but perceptual criteria are still not accurate enough to be used as full proxies for the usefulness. We hope this work will inspire the community to evaluate ISR methods also in real vision applications, and to adopt ISR as a pre-processing step of other vision tasks if the resolution of their input images is low.

研究の動機と目的

• 入力画像が低解像度である場合に、画像超解像（ISR）が下流のビジョンタスクにおける性能を向上させるかどうかを検証すること。
• 標準的な知覚的評価指標（PSNR、SSIM、IFC、NQM）と、ビジョンタスクにおけるISRの実際の有用性との相関を評価すること。
• 入力画像が低解像度である場合に、ISRをビジョンパイプラインにおける前処理ステップとして採用すべきかどうかを検討すること。
• ISRが知覚的品質を凌駕する実用的利点を示す実証的証拠を提供すること、特に学習データとテストデータの解像度が異なる場合に顕著である。
• コミュニティがISR手法を知覚的品質だけでなく、実際のビジョンアプリケーションにおいても評価するよう促すこと。

提案手法

• 代表的な6種類のISR手法（Zeyde et al.、ANR、A+、SRCNN、JOR、SRF）を評価した。選定基準は人気、コードの入手可能性、計算効率の高さ。
• 4つのベンチマークデータセット（BSDS500（エッジ検出）、PASCAL VOC 2012（セマンティックセグメンテーション）、MNIST（数字認識）、Scene-15（シーン認識））からダウンサンプリングされた画像（x3およびx4）に各ISR手法を適用した。
• 各タスクに適した標準的なビジョンモデルを用いた：エッジ検出にはHED、セマンティックセグメンテーションにはFCN-8s、数字認識にはシンプルなCNN、シーン認識には事前学習済みImageNet CNN。
• すべての実験で同じネットワーク層（例：層16）から特徴量を抽出することで、一貫した入力表現を確保した。
• 低解像度入力、ISRによるスーパーレゾリューション処理済み入力、元の高解像度入力の3つの条件で性能を比較した。
• 各ISR手法と入力スケールごとに、精度と知覚的指標（PSNR、SSIM、IFC、NQM）を報告した。

実験結果

リサーチクエスチョン

• RQ1 低解像度入力に画像超解像を適用することで、エッジ検出、セマンティックセグメンテーション、数字認識、シーン認識といった下流のビジョンタスクの性能が向上するか？
• RQ2 標準的な知覚的指標（PSNR、SSIM、IFC、NQM）は、ビジョンタスクにおけるISR手法の実際の有用性とどの程度相関しているか？
• RQ3 入力画像が低解像度である場合に、ISRをビジョンシステムにおける信頼できる前処理ステップとして利用できるか？
• RQ4 ISRによる性能向上は、元の高解像度画像で達成される性能に比べてどの程度不足しているか？
• RQ5 学習データとテストデータの解像度が同一である場合でも、ISRが顕著な利点をもたらすケースは存在するか？

主な発見

• 低解像度入力にISRを適用することで、エッジ検出、セマンティックセグメンテーション、数字認識、シーン認識の4つのビジョンタスクすべてで一貫して性能が向上し、バイキュービック補間よりも0.5%～3.5%の精度向上が得られた。
• MNISTにおける数字認識では、最良のISR手法（SRF）がx4ダウンサンプリング画像で80.9%の精度を達成し、バイキュービック（77.0%）を上回り、元の高解像度画像の80.9%に非常に近い結果を得た。
• Scene-15におけるシーン認識では、最良のISR手法（SRF）がx4スケールで75.4%の精度を達成し、バイキュービック（73.5%）を上回り、元の80.9%に近づいた。
• 知覚的指標（PSNR、SSIM、IFC、NQM）はタスク性能と一般的に相関を示すが、ISRの有用性を完全に代替するには不十分である。
• 最新のISR手法を用いても、スーパーレゾリューション処理済み画像の性能は、元の高解像度画像の性能に比べて依然として顕著に低いことが示され、さらなる改善の余地があることがわかった。
• 結果から、ISRが知覚的品質の向上にとどまらず、特に入力解像度が低い場合に実用的ビジョンシステムの性能向上にも寄与することを裏付けた。