[论文解读] Direct Intrinsics: Learning Albedo-Shading Decomposition by Convolutional Regression

Takuya Narihira, Michael Maire+1 more|arXiv (Cornell University)|Dec 8, 2015

Advanced Neural Network Applications被引用 23

一句话总结

本文提出 Direct Intrinsics，一种基于深度学习的方法，采用多尺度全卷积神经网络，直接从RGB图像回归反照率与阴影，无需依赖物理先验或深度输入。在合成的 MPI Sintel 数据上进行训练，其在合成图像和真实图像上均优于当前最先进方法——甚至优于使用 RGB+深度输入的方法，展现出强大的泛化能力与对复杂光照和材质的鲁棒性。

ABSTRACT

We introduce a new approach to intrinsic image decomposition, the task of decomposing a single image into albedo and shading components. Our strategy, which we term direct intrinsics, is to learn a convolutional neural network (CNN) that directly predicts output albedo and shading channels from an input RGB image patch. Direct intrinsics is a departure from classical techniques for intrinsic image decomposition, which typically rely on physically-motivated priors and graph-based inference algorithms. The large-scale synthetic ground-truth of the MPI Sintel dataset plays a key role in training direct intrinsics. We demonstrate results on both the synthetic images of Sintel and the real images of the classic MIT intrinsic image dataset. On Sintel, direct intrinsics, using only RGB input, outperforms all prior work, including methods that rely on RGB+Depth input. Direct intrinsics also generalizes across modalities; it produces quite reasonable decompositions on the real images of the MIT dataset. Our results indicate that the marriage of CNNs with synthetic training data may be a powerful new technique for tackling classic problems in computer vision.

研究动机与目标

• 开发一种数据驱动的固有图像分解方法，绕过传统的基于物理的先验和基于图的推理。
• 实现从 RGB 图像块端到端学习反照率与阴影预测的深度卷积回归。
• 在合成（Sintel）和真实世界（MIT）数据集上评估性能，评估跨域泛化能力。
• 探究合成训练数据是否可在无需显式真实数据微调的情况下，实现对真实图像的鲁棒性能。
• 比较不同网络结构组件与训练策略在提升分解精度方面的有效性。

提出的方法

• 使用多尺度全卷积神经网络（MSCR）从输入 RGB 块预测反照率与阴影，其自粗到精的结构可同时捕捉全局上下文与局部细节。
• 通过反照率与阴影的 L2 损失、边缘保持的梯度损失，以及用于上采样的可学习转置卷积层联合训练网络。
• 通过随机裁剪与色彩抖动进行数据增强，以提升泛化能力并减少过拟合。
• 训练过程中使用 Dropout 正则化网络，提升鲁棒性。
• 使用重合成的 Sintel 数据增强训练，提升反照率估计性能，但存在使阴影预测偏向 Sintel 特定光照的潜在偏差风险。
• 模型仅在合成的 MPI Sintel 数据上进行训练，其真实反照率与阴影由 3D 场景模型生成。

实验结果

研究问题

• RQ1 纯粹基于数据驱动的端到端深度学习方法是否能在固有图像分解任务中超越依赖物理先验与深度输入的传统方法？
• RQ2 在合成数据上训练的模型在具有复杂光照与材质的真实图像上泛化能力如何？
• RQ3 哪些网络结构与训练组件（如 Dropout、梯度损失、转置卷积）对固有分解任务的性能提升最为显著？
• RQ4 在训练中引入重合成的 Sintel 数据是否能提升真实图像上的性能，还是会引入特定领域偏差？
• RQ5 在 IIW 数据集上，该模型表现如何？该数据集的真实标签基于人类对反射率的判断，而非物理分解。

主要发现

• 在 Sintel 数据集上，MSCR+Dropout+GL 模型在 MSE 与 LMSE 指标上均优于所有先前方法，包括使用 RGB+深度输入的方法。
• 在 Sintel 上，反照率的 DSSIM 达 0.878，阴影的 DSSIM 达 0.841，尽管未在训练中使用 DSSIM 损失，但阴影 DSSIM 相较 Chen 和 Koltun 的方法仍提升 0.0145。
• 在场景分割评估（分布外泛化）中，模型保持了强劲性能，每一项架构与训练改进（包括 Dropout 与数据增强）均带来性能提升。
• 当仅在 MIT 数据上训练时，模型在真实图像上仍能生成合理分解结果；当将重合成的 Sintel 数据混合进训练时，性能进一步提升，尤其在反照率估计方面。
• 移除可学习转置卷积层后，视觉质量明显下降，表明其在特征重建中起着关键作用。
• 在 IIW 数据集上性能欠佳（WHDR = 27.2），表明 Sintel/MIT 与 IIW 之间存在领域偏移，可能源于真实标签格式差异（物理分解 vs. 人类判断）。