[论文解读] Differential Angular Imaging for Material Recognition

Jia Xue, Hang Zhang+2 more|arXiv (Cornell University)|Dec 7, 2016

Advanced Optical Sensing Technologies参考文献 26被引用 10

一句话总结

本文提出差分视角成像（Differential Angular Imaging, DAI），通过使用标准相机捕捉视角的微小角度变化，提升户外场景中的材料识别性能，无需实验室内设备即可获得丰富的辐射度线索。作者构建了GTOS数据集，包含40种地面材质类别的34,243张图像，并开发了差分视角成像网络（Differential Angular Imaging Network, DAIN），通过利用差分图像中的角度梯度，在GTOS数据集上实现了81.4%的最先进识别准确率，优于单视角和多视角卷积神经网络（CNN）。

ABSTRACT

Material recognition for real-world outdoor surfaces has become increasingly important for computer vision to support its operation "in the wild." Computational surface modeling that underlies material recognition has transitioned from reflectance modeling using in-lab controlled radiometric measurements to image-based representations based on internet-mined images of materials captured in the scene. We propose to take a middle-ground approach for material recognition that takes advantage of both rich radiometric cues and flexible image capture. We realize this by developing a framework for differential angular imaging, where small angular variations in image capture provide an enhanced appearance representation and significant recognition improvement. We build a large-scale material database, Ground Terrain in Outdoor Scenes (GTOS) database, geared towards real use for autonomous agents. The database consists of over 30,000 images covering 40 classes of outdoor ground terrain under varying weather and lighting conditions. We develop a novel approach for material recognition called a Differential Angular Imaging Network (DAIN) to fully leverage this large dataset. With this novel network architecture, we extract characteristics of materials encoded in the angular and spatial gradients of their appearance. Our results show that DAIN achieves recognition performance that surpasses single view or coarsely quantized multiview images. These results demonstrate the effectiveness of differential angular imaging as a means for flexible, in-place material recognition.

研究动机与目标

• 解决在真实户外环境中实现鲁棒材料识别的挑战，因为实验室内反射率测量在实际场景中不可行。
• 弥合受控实验室内反射率建模与基于互联网挖掘图像的上下文依赖性图像识别之间的差距。
• 探究视角中微小角度变化是否能捕捉到有意义的反射率梯度，从而提升材料识别性能。
• 开发一种灵活的现场成像框架，在保留辐射度丰富性的同时支持实际部署。
• 创建一个公开可用的大规模户外材料数据库（GTOS），用于评估野外环境下的材料识别性能。

提出的方法

• 使用标准相机在略微不同的视角下拍摄户外地面表面的多张图像，以实现对角度梯度的离散近似。
• 通过计算差分图像 $ I_{\delta} = I_v - I_{v+\delta} $，编码反射率和三维表面纹理的角度梯度。
• 设计差分视角成像网络（DAIN），一种双流卷积神经网络架构，分别处理原始图像（$ I_v $）和差分图像（$ I_\delta $）。
• 在中间层采用特征融合策略，如求和池化和3D卷积滤波器，整合双流的特征。
• 在新构建的GTOS数据集上训练并评估DAIN，该数据集包含40个类别、18个视角、4种光照条件以及每张样本3种曝光水平。
• 通过5折交叉验证，将DAIN的性能与单视角CNN、多视角CNN及现有最先进方法进行比较。

实验结果

研究问题

• RQ1 与单视角成像相比，视角中微小角度变化是否能显著提升材料识别性能？
• RQ2 由小基线视角变化生成的差分图像是否编码了对材料分类有用的反射率和表面纹理线索？
• RQ3 像DAIN这样的深度学习架构能否有效利用原始图像和差分图像以提升识别准确率？
• RQ4 在真实户外环境中，差分视角成像与粗粒度多视角成像或实验室内BRDF测量相比表现如何？
• RQ5 所提出的GTOS数据集在多大程度上支持在非受限环境下实现鲁棒且可泛化的材料识别？

主要发现

• DAIN在GTOS数据集上实现了81.4%的识别准确率，优于最先进方法如FV+CNN（75.4%）和MVCNN（78.1%）。
• 采用3D滤波器和池化的多视角DAIN达到81.2%的准确率，表明差分视角成像显著优于标准多视角CNN。
• 仅使用差分图像的单视角DAIN（$ I_v $ 和 $ I_\delta $）优于单视角CNN，准确率达到79.4%，高于标准CNN的74.3%。
• 差分图像流本身贡献了关键信息，因为仅使用 $ I_v $ 和 $ I_\delta $ 的DAIN达到79.4%的准确率，超过单视角基线。
• GTOS数据集包含40个类别的34,243张图像，涵盖18个视角、4种光照条件和每张样本3种曝光水平，支持对视角敏感度的稳健评估。
• DAIN在仅使用8个精心选择的视角时，准确率达到81.2%，优于49个视角的Lytro全4D光场数据集基线（83.0%），表明其在高效视角采样方面具有优势。