[論文レビュー] A 4D Light-Field Dataset and CNN Architectures for Material Recognition

Ting-Chun Wang, Jun-Yan Zhu+4 more|arXiv (Cornell University)|Aug 24, 2016

Advanced Vision and Imaging参考文献 21被引用数 9

ひとこと要約

本論文は、Lytro Illumカメラを用いて撮影された12種類の素材カテゴリにまたがる1,200枚の画像からなる新しい4次元（4D）ライトフィールドデータセットを紹介するとともに、多視点および視点依存反射特性を活用するための新規な4D畳み込みニューラルネットワーク（CNN）アーキテクチャを提案する。最高性能を示したモデルは、2次元（2D）画像分類法に比べ7%の精度向上を達成し、パッチでは77%、フル画像では80%の精度を記録した。これは、ライトフィールドデータが素材認識に有効であることを示している。

ABSTRACT

We introduce a new light-field dataset of materials, and take advantage of the recent success of deep learning to perform material recognition on the 4D light-field. Our dataset contains 12 material categories, each with 100 images taken with a Lytro Illum, from which we extract about 30,000 patches in total. To the best of our knowledge, this is the first mid-size dataset for light-field images. Our main goal is to investigate whether the additional information in a light-field (such as multiple sub-aperture views and view-dependent reflectance effects) can aid material recognition. Since recognition networks have not been trained on 4D images before, we propose and compare several novel CNN architectures to train on light-field images. In our experiments, the best performing CNN architecture achieves a 7% boost compared with 2D image classification (70% to 77%). These results constitute important baselines that can spur further research in the use of CNNs for light-field applications. Upon publication, our dataset also enables other novel applications of light-fields, including object detection, image segmentation and view interpolation.

研究の動機と目的

• 4Dライトフィールドデータが持つ多視点性と視点依存反射特性が、2D画像に比べ素材認識性能を向上させるかを調査すること。
• 深層学習モデルの学習に適した中規模かつ現実世界のライトフィールドデータセットが不足している問題を解決すること。
• 2Dモデルを拡張して4Dライトフィールド入力を効果的に処理できるように設計された、新規なCNNアーキテクチャの開発と評価。
• 今後のライトフィールドを用いた素材認識およびセグメンテーション分野の研究のためのパフォーマンスベースラインを確立すること。
• 公開されたデータセットを活用して、物体検出、画像セグメンテーション、視点補間などの幅広い応用を可能にすること。

提案手法

• 著者らは、Lytro Illumカメラを用いて、1,200枚の画像を含む新しいライトフィールドデータセットを収集し、ピクセル単位の正例を備えた12種類の素材カテゴリを含む。
• 4D CNNモデルの学習と評価に使用するため、データセットから30,000個のライトフィールドパッチを抽出した。ここで使用された「分解型」4Dフィルタは、空間的および角度的畳み込みを分離する。
• 提案されたCNNアーキテクチャは、事前学習済みの2D空間フィルタを再利用し、4Dライトフィールド入力を処理するための新しい角度フィルタを追加することで、多視点データからの効率的な学習を可能にする。
• 訓練の安定化のため、まずパッチでモデルを微調整した後、それを完全畳み込みネットワーク（FCN）に変換し、フル画像で再微調整した。
• フルシーンセグメンテーションのため、2つのFCNモデル（パッチサイズ256および128）の予測を統合し、エッジに配慮したアップサンプリングを適用し、ガイドフィルタを用いて確率マップを精緻化した。
• 一般化性能の評価のため、合成されたBTFデータベースを用いて、2D入力とライトフィールド入力の性能を比較するためのトランスファー学習と微調整を実施した。

実験結果

リサーチクエスチョン

• RQ1 4Dライトフィールドデータが持つ多視点性と視点依存反射特性は、単一の2D画像に比べて素材認識の精度を向上させるか？
• RQ2 2D畳み込みニューラルネットワークアーキテクチャを、4Dライトフィールド入力を効果的に処理できるようにどのように適応できるか？
• RQ3 ライトフィールドデータの使用が、素材分類のパフォーマンスに顕著な向上をもたらすか。また、他のデータセットに対しても一般化可能か？
• RQ4 パッチベースの学習戦略に続き、フル画像で微調整することで、ライトフィールドセグメンテーションのための完全畳み込みネットワークの訓練が安定化するか？
• RQ5 提案されたモデルは、異なるソースや素材カテゴリからの未観測のライトフィールドデータに対し、どの程度一般化可能か？

主な発見

• 提案された4D CNNアーキテクチャは、2D画像分類法に比べ7%の絶対的な精度向上を達成し、抽出パッチでは70%から77%へと向上した。
• フル画像では、2Dモデルの74%に比べ80%の精度を達成し、現実世界のセグメンテーションタスクにおいて一貫した向上を示した。
• モデルは他のデータセットに対しても良好に一般化された：合成BTFデータベースでは、微調整後、2D入力に比べ5%の精度向上（73.0% vs. 67.7%）を達成した。
• パッチベースの事前学習に続いてフル画像で微調整することで、直接FCNを学習するのと比較して、訓練の安定性と性能が顕著に向上した。
• エッジに配慮したアップサンプリングとガイドフィルタの適用により、ライトフィールドFCNモデルのピクセル単位精度が77.0%から79.9%へと向上した。
• 本研究では、素材認識を目的とした最初の中規模かつ現実世界のライトフィールドデータセットを確立し、今後のライトフィールド学習分野の研究を支援する目的で公開した。