[论文解读] An end-to-end CNN framework for polarimetric vision tasks based on polarization-parameter-constructing network

Yong Wang, Qi Liu+4 more|arXiv (Cornell University)|Apr 19, 2020

Optical Polarization and Ellipsometry参考文献 21被引用 4

一句话总结

该论文提出了一种端到端的CNN框架，通过引入极化参数构建网络（PPCN），利用1x1卷积层学习极化图像之间的最优像素级操作，从而增强偏振视觉。该框架在与Faster R-CNN结合时，显著提升了目标检测性能，实现了比现有方法更高的平均平均精度（mAP）。

ABSTRACT

Pixel-wise operations between polarimetric images are important for processing polarization information. For the lack of such operations, the polarization information cannot be fully utilized in convolutional neural network(CNN). In this paper, a novel end-to-end CNN framework for polarization vision tasks is proposed, which enables the networks to take full advantage of polarimetric images. The framework consists of two sub-networks: a polarization-parameter-constructing network (PPCN) and a task network. PPCN implements pixel-wise operations between images in the CNN form with 1x1 convolution kernels. It takes raw polarimetric images as input, and outputs polarization-parametric images to task network so as to complete a vison task. By training together, the PPCN can learn to provide the most suitable polarization-parametric images for the task network and the dataset. Taking faster R-CNN as task network, the experimental results show that compared with existing methods, the proposed framework achieves much higher mean-average-precision (mAP) in object detection task

研究动机与目标

• 解决现有CNN因缺乏极化图像间有效像素级操作，而无法充分利用偏振信息的局限性。
• 设计一种可学习、可微分的框架，从原始极化图像中自动生成最优极化参数，以支持下游视觉任务。
• 实现极化参数构建网络与任务特定网络的联合训练，以提升性能。
• 在真实世界的偏振视觉任务中，特别是目标检测任务中，验证该框架的有效性。

提出的方法

• 该框架由两个子网络组成：极化参数构建网络（PPCN）和任务网络，采用端到端方式进行训练。
• PPCN使用1x1卷积核在原始极化图像之间执行可学习、可微分的像素级操作。
• PPCN的输出为编码了有意义极化特征的极化参数图像，供任务网络使用。
• 整个系统联合训练，使PPCN能够自适应地学习最适合特定任务和数据集的极化表示。
• 任务网络以Faster R-CNN实现用于目标检测，整个框架通过标准反向传播进行优化。

实验结果

研究问题

• RQ1 可学习的端到端CNN框架能否有效提取并利用原始极化图像中的极化特征以支持视觉任务？
• RQ2 与不利用像素级极化操作的常规方法相比，极化感知CNN的性能如何？
• RQ3 联合训练的极化参数构建网络在多大程度上能提升下游目标检测的精度？
• RQ4 所提出的框架在不同偏振视觉任务中是否具备鲁棒性和泛化能力？

主要发现

• 与现有方法相比，所提出的框架在目标检测任务中实现了显著更高的平均平均精度（mAP）。
• PPCN中基于1x1卷积的像素级操作，能够有效且可学习地将原始极化图像转换为信息丰富的极化参数。
• PPCN与任务网络的联合训练，相比固定或手工设计的极化参数计算方法，能实现更优的特征表示学习。
• 该框架证明了端到端学习在偏振视觉中的可行性，优于依赖预定义极化特征的传统方法。