[論文レビュー] Flickr1024: A Large-Scale Dataset for Stereo Image Super-Resolution

Yingqian Wang, Longguang Wang+3 more|arXiv (Cornell University)|Mar 15, 2019

Advanced Image Processing Techniques参考文献 17被引用数 4

ひとこと要約

本論文では、ユーザーの許可を得た元の写真家から収集された、1,024枚の高品質で多様な現実世界の画像ペアを含む大規模なステレオ超解像データセットであるFlickr1024を紹介する。このデータセットは、過学習を軽減し、複数のベンチマークでPSNR/SSIMを向上させることで、ステレオSR性能を顕著に向上させ、PASSRnet や StereoSR といった最先端のモデルを用いたクロスデータセット評価において、KITTI や Middlebury データセットを上回る性能を発揮する。

ABSTRACT

With the popularity of dual cameras in recently released smart phones, a growing number of super-resolution (SR) methods have been proposed to enhance the resolution of stereo image pairs. However, the lack of high-quality stereo datasets has limited the research in this area. To facilitate the training and evaluation of novel stereo SR algorithms, in this paper, we present a large-scale stereo dataset named Flickr1024, which contains 1024 pairs of high-quality images and covers diverse scenarios. We first introduce the data acquisition and processing pipeline, and then compare several popular stereo datasets. Finally, we conduct crossdataset experiments to investigate the potential benefits introduced by our dataset. Experimental results show that, as compared to the KITTI and Middlebury datasets, our Flickr1024 dataset can help to handle the over-fitting problem and significantly improves the performance of stereo SR methods. The Flickr1024 dataset is available online at: https://yingqianwang.github.io/Flickr1024.

研究の動機と目的

• 現実世界の多様なシナリオをカバーする大規模で高品質なステレオ超解像データセットが不足しているという問題に取り組むこと。
• ドライビング環境やラボ環境に限定された既存のデータセットにとどまらず、ディープラーニングベースのステレオSR手法の訓練と評価を促進すること。
• より大規模で多様なデータセットが、ステレオSRモデルの一般化性能を向上させ、過学習を軽減できるかどうかを調査すること。
• 産業界および学術界のステレオ画像超解像分野における研究を支援する包括的で公開可能なデータセットを提供すること。

提案手法

• 写真家から許可を得た上で、Flickrから手動で1,024組のステレオ画像ペアを収集した。
• 画像を処理するパイプラインにより、クロスアイアライメントを平行な光学軸に補正し、超解像タスクに適した正しいステレオジオメトリを確保した。
• 画像アライメント、解像度の標準化、およびBRISQE、ENIQA、SR-metricといった指標を用いた知覚的品質評価を含む、複数段階のデータ処理パイプラインを実施した。
• データセットを訓練・検証・テストに分割し、知覚的品質指標にわたるバランスの取れた分布を確保することでバイアスを最小限に抑えた。
• 最先端のステレオSRモデル（StereoSR および PASSRnet）を用いて、異なるデータセットで訓練したモデルを、すべてのベンチマークでテストするクロスデータセット評価を実施した。
• PSNR および SSIM を用いた定量的評価を、KITTI、Middlebury、ETH3D、およびFlickr1024自体を含む複数のデータセットで実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なステレオ画像データセットは、ディープラーニングベースのステレオ超解像モデルの一般化性能を向上させることができるか？
• RQ2 Flickr1024データセットは、KITTI、Middlebury、ETH3Dといった既存のステレオデータセットと比較して、画像品質、多様性、解像度の面でどのように差異を示すか？
• RQ3 Flickr1024で学習させることで、より小規模で多様性に欠けるデータセットで学習させる場合と比較して、ステレオSRモデルの過学習が軽減されるか？
• RQ4 クロスデータセット評価において、Flickr1024データセットは、さまざまなテストセットでのPSNRおよびSSIM性能をどの程度向上させるか？

主な発見

• クロスデータセット評価において、Flickr1024データセットは、すべてのテストセットで最高の平均PSNRおよびSSIMスコアを達成し、KITTI2015 や Middlebury データセットで学習したモデルを上回った。
• Flickr1024で学習したモデルは、訓練エポックが増えるにつれて一貫して性能向上を示したが、一方でKITTI2015で学習したモデルは、ある時点を過ぎると性能が低下した。
• 同じテストセットで評価した場合、Flickr1024で学習したモデルは、KITTI2015を上回って平均PSNRを1.04 dB向上させ、Middleburyを上回って0.58 dB向上させた。
• 知覚的画像品質において優れた性能を示し、最高のENIQAスコア（0.065）と、良好なBRISQE（19.40）およびSR-metric（7.12）の値を示しており、視覚的品質とテクスチャの豊かさが高水準にあることを示している。
• 統計的比較により、Flickr1024は訓練・検証・テストセットにわたる画像品質指標の分布がバランスが取れており、データリークやバイアスのリスクが最小限に抑えられていることが確認された。
• 自然景観や日常の写真を含む多様な現実世界のシナリオをカバーしているため、Flickr1024は、モバイルデバイスにおけるステレオSRモデルの実世界への展開に非常に適している。