[論文レビュー] Holopix50k: A Large-Scale In-the-wild Stereo Image Dataset

Yiwen Hua, Puneet Kohli+5 more|arXiv (Cornell University)|Mar 25, 2020

Advanced Vision and Imaging参考文献 55被引用数 26

ひとこと要約

本論文では、ホロピクセルモバイルソーシャルプラットフォームから収集された49,368組のユーザー生成、正規化済みステレオ画像ペアからなる大規模な屋外環境ステレオ画像データセット、Holopix50kを紹介する。このデータセットにより、ステレオスーパーレゾリューションおよび自己教師付き単眼深度推定の分野で顕著な向上が達成され、そのスケール、多様性、および実際のモバイル写真撮影環境に起因して、既存のデータセットと比較して優れた性能と一般化能力を示している。

ABSTRACT

With the mass-market adoption of dual-camera mobile phones, leveraging stereo information in computer vision has become increasingly important. Current state-of-the-art methods utilize learning-based algorithms, where the amount and quality of training samples heavily influence results. Existing stereo image datasets are limited either in size or subject variety. Hence, algorithms trained on such datasets do not generalize well to scenarios encountered in mobile photography. We present Holopix50k, a novel in-the-wild stereo image dataset, comprising 49,368 image pairs contributed by users of the Holopix mobile social platform. In this work, we describe our data collection process and statistically compare our dataset to other popular stereo datasets. We experimentally show that using our dataset significantly improves results for tasks such as stereo super-resolution and self-supervised monocular depth estimation. Finally, we showcase practical applications of our dataset to motivate novel works and use cases. The Holopix50k dataset is available at http://github.com/leiainc/holopix50k

研究の動機と目的

• モバイル写真撮影シナリオを代表する大規模で多様な屋外環境ステレオ画像データセットの不足を解消すること。
• シーンの内容、照明、カメラ設定の多様性を高めたデータセットを提供することで、ステレオビジョンモデルの一般化能力を向上させること。
• 大規模で実際の環境のデータを用いた学習により、ステレオスーパーレゾリューションおよび自己教師付き単眼深度推定の最先端の性能を実現すること。
• リアルタイムの視差推定、3Dフォトグラフィ、ライトフィールドイメージングなどの実用的モバイルアプリケーションを支援すること。
• 公開可能で高品質なデータセットをリリースすることで、今後の屋外環境ステレオビジョン分野の研究基盤を構築すること。

提案手法

• データセットは、ライトフィールドおよびステレオ画像に特化したホロピクセルモバイルソーシャルプラットフォームのユーザー投稿から収集された。
• アライメントと品質を保証するため、学習されたステレオ視差ネットワークを用いて画像をフィルタリングおよび正規化し、疑似ラベル付き視差マップをフィルタリング基準として用いた。
• 高精細なエッジディテールを再現するために、約340kパラメータおよび約1.5 GFLOPSの計算フットプリントを持つU-Netに類似したアーキテクチャを用いて、ステレオ視差推定ネットワークを訓練した。
• モバイルデプロイメントを最適化するため、速度を最優先に、約15kパラメータおよび約0.15 GFLOPSの軽量リアルタイム視差推定ネットワークを訓練した。
• ステレオネットワークから得た疑似ラベル付き深度マップを活用し、Holopix50kとMegadepthデータセットの組み合わせを用いて、半教師付き単眼深度推定モデルを訓練した。
• 生成的画像変換を視差深度に条件づけるために、Pix2Pixに類似したアーキテクチャとPatchGAN識別器を用いたトレーニングパイプラインを採用した。

実験結果

リサーチクエスチョン

• RQ1 モバイルソーシャルプラットフォームから収集された大規模な屋外環境ステレオデータセットは、ステレオスーパーレゾリューションおよび自己教師付き深度推定の性能向上に寄与するか？
• RQ2 Holopix50kに含まれるユーザー生成データの多様性と現実性は、既存のステレオデータセットと比較して、一般化能力および耐障害性においてどのように差をつけるか？
• RQ3 Holopix50kで学習したモデルは、Middleburyのような実世界および合成ステレオベンチマークにどの程度一般化できるか？
• RQ4 訓練済みステレオネットワークから得た疑似ラベル付き視差マップを、大規模データセットのフィルタリングおよびキュレーションに効果的に応用できるか？
• RQ5 本データセットで学習された高品質でリアルタイムの視差推定モデルにより、どのような実用的モバイルアプリケーションが実現可能か？

主な発見

• Holopix50kには、49,368組の高品質で正規化済みのステレオ画像ペアが含まれており、これまでに公開された中で最大の屋外環境ステレオデータセットである。
• 特に実際のモバイル写真撮影条件を捉えている点を除き、多様性、シーンの多様性、品質指標において既存のデータセットを上回っている。
• Holopix50kで学習したモデルは、ステレオスーパーレゾリューションおよび自己教師付き単眼深度推定の分野で顕著な向上を示し、鋭いエッジディテールとより良い深度レイヤー化を実現している。
• ステレオ視差推定ネットワークは、Middleburyベンチマークで検証されたように、高いステレオ整合性と鋭いエッジディテールを達成している。
• リアルタイム視差ネットワークは滑らかさに欠けるが、ビデオ通話やライトフィールドプレビューなどのモバイルアプリケーションに適した実用的な推論速度を達成している。
• Holopix50kとMegadepthを用いて訓練された半教師付き単眼深度モデルは、人物を含むクローズアップおよびミドルレンジのシーンにおいて、ベースラインモデルが失敗する状況でも良好に一般化している。