[论文解读] A 4D Light-Field Dataset and CNN Architectures for Material Recognition

Ting-Chun Wang, Jun-Yan Zhu+4 more|arXiv (Cornell University)|Aug 24, 2016

Advanced Vision and Imaging参考文献 21被引用 9

一句话总结

本文引入了一个新的4D光场数据集，包含使用Lytro Illum相机拍摄的1,200张图像，涵盖12种材料类别，并提出了新颖的4D卷积神经网络（CNN）架构，以利用多视角和视角依赖的反射特性进行材料识别。性能最佳的模型相较于2D图像分类方法实现了7%的准确率提升，在图像块上达到77%，在完整图像上达到80%，证明了光场数据在材料识别中的价值。

ABSTRACT

We introduce a new light-field dataset of materials, and take advantage of the recent success of deep learning to perform material recognition on the 4D light-field. Our dataset contains 12 material categories, each with 100 images taken with a Lytro Illum, from which we extract about 30,000 patches in total. To the best of our knowledge, this is the first mid-size dataset for light-field images. Our main goal is to investigate whether the additional information in a light-field (such as multiple sub-aperture views and view-dependent reflectance effects) can aid material recognition. Since recognition networks have not been trained on 4D images before, we propose and compare several novel CNN architectures to train on light-field images. In our experiments, the best performing CNN architecture achieves a 7% boost compared with 2D image classification (70% to 77%). These results constitute important baselines that can spur further research in the use of CNNs for light-field applications. Upon publication, our dataset also enables other novel applications of light-fields, including object detection, image segmentation and view interpolation.

研究动机与目标

• 探究4D光场数据（具备多视角和视角依赖的反射特性）是否能相较于2D图像提升材料识别的准确性。
• 解决当前缺乏适合深度学习模型训练的中等规模、真实世界光场数据集的问题。
• 设计并评估专为4D光场输入量身定制的新型CNN架构，将2D模型扩展以处理角度和空间维度。
• 为未来基于光场的材料识别与分割研究建立性能基线。
• 通过发布的数据集支持更广泛的应用，如目标检测、图像分割和视角插值。

提出的方法

• 作者使用Lytro Illum相机采集了一个新的光场数据集，包含1,200张图像，涵盖12种材料类别，并为每个像素提供了真实标签。
• 他们从数据集中提取了30,000个光场图像块，用于训练和评估4D CNN模型，采用一种将空间与角度卷积分离的‘分解式’4D滤波器。
• 所提出的CNN架构复用了预训练的2D空间滤波器，并增加了新的角度滤波器以处理4D光场输入，从而实现从多视角数据中高效学习。
• 为稳定训练，他们首先在图像块上微调模型，随后将其转换为全卷积网络（FCN），并在完整图像上再次微调。
• 对于完整场景的分割，他们结合两个FCN模型（图像块大小分别为256和128）的预测结果，应用边缘感知上采样，并使用引导滤波器优化概率图。
• 通过在合成的BTF数据库上进行测试，利用迁移学习和微调方法，比较2D输入与光场输入的性能，评估模型泛化能力。

实验结果

研究问题

• RQ1 4D光场数据（具备多视角和视角依赖的反射特性）是否能相比单张2D图像显著提升材料识别的准确率？
• RQ2 如何有效将2D卷积神经网络架构适配以处理4D光场输入？
• RQ3 使用光场数据是否能带来显著的性能提升，且该优势是否可推广至其他数据集？
• RQ4 基于图像块的训练策略结合在完整图像上的微调，是否能显著提升全卷积网络在光场分割任务中的训练稳定性？
• RQ5 所提出的模型在未见的光场数据（来自不同来源或材料类别）上具有多大程度的泛化能力？

主要发现

• 所提出的4D CNN架构在提取的图像块上相比2D图像分类方法实现了7%的绝对准确率提升，性能从70%提高到77%。
• 在完整图像上，该方法达到80%的准确率，而2D模型为74%，表明在真实世界分割任务中具有持续的性能优势。
• 模型在其他数据集上也表现出良好的泛化能力：在合成的BTF数据库上，经过微调后，光场输入相比2D输入准确率提升5%（73.0% vs. 67.7%）。
• 采用基于图像块的预训练结合在完整图像上的微调策略，相比直接进行FCN训练，显著提升了训练稳定性和性能。
• 边缘感知上采样与引导滤波进一步优化了分割结果，使光场FCN模型的像素级准确率从77.0%提升至79.9%。
• 本研究首次建立了中等规模、真实世界的光场数据集用于材料识别，并已公开发布，以支持未来光场学习的研究。