[论文解读] Learning on the Edge: Explicit Boundary Handling in CNNs

Carlo Innamorati, Tobias Ritschel+2 more|arXiv (Cornell University)|May 8, 2018

Advanced Neural Network Applications参考文献 8被引用 15

一句话总结

本文提出在卷积神经网络（CNNs）中学习显式的边界滤波器，以提升图像边缘处的特征质量，取代零填充或反射等启发式填充方法。通过训练针对特定任务的边界滤波器以自然地外推特征，该方法在色彩化、去拜耳化、光流估计和视差估计等任务中实现了5%–20%的性能提升，且无运行时开销。

ABSTRACT

Convolutional neural networks (CNNs) handle the case where filters extend beyond the image boundary using several heuristics, such as zero, repeat or mean padding. These schemes are applied in an ad-hoc fashion and, being weakly related to the image content and oblivious of the target task, result in low output quality at the boundary. In this paper, we propose a simple and effective improvement that learns the boundary handling itself. At training-time, the network is provided with a separate set of explicit boundary filters. At testing-time, we use these filters which have learned to extrapolate features at the boundary in an optimal way for the specific task. Our extensive evaluation, over a wide range of architectural changes (variations of layers, feature channels, or both), shows how the explicit filters result in improved boundary handling. Consequently, we demonstrate an improvement of 5% to 20% across the board of typical CNN applications (colorization, de-Bayering, optical flow, and disparity estimation).

研究动机与目标

• 为解决CNN中因使用零填充、反射填充或均值填充等启发式填充方法导致的图像边界处特征质量差的问题。
• 减少因外推不一致而引起的边界伪影，这些伪影不仅影响边缘区域，还会影响图像内部区域的特征质量。
• 使CNN能够学习最优的边界外推方式，以尊重图像内容和特定任务的上下文，而非依赖固定规则。
• 将边界处理无缝集成到现有CNN架构中，且不增加推理时的计算成本。
• 在多种CNN应用和架构（包括编码器-解码器网络）中展示一致的性能提升。

提出的方法

• 引入一组可学习的边界滤波器，在图像边界处应用时替代标准卷积滤波器。
• 在反向传播过程中与标准滤波器联合训练，使用与主网络相同的损失函数。
• 为每种边界配置（如顶部边缘、左下角）定义独立的边界滤波器，以实现上下文感知的外推。
• 在训练中使用领域分解技术，高效处理所有边界情况，且不带来运行时性能损失。
• 在图像内部区域保持标准卷积操作，仅在边缘区域切换为可学习的边界滤波器。
• 确保边界滤波器生成的特征图与非边界滤波器保持一致，以维持特征的连续性。

实验结果

研究问题

• RQ1 CNN能否学习一种针对特定任务的边界图像特征外推方式，而非依赖固定启发式规则？
• RQ2 学习边界滤波器是否不仅能提升边界区域的特征质量，也能改善图像内部区域的特征质量？
• RQ3 与标准填充方法相比，引入可学习边界滤波器的训练和推理开销如何？
• RQ4 与裁剪或滑动窗口推理相比，该方法在性能和效率方面表现如何？
• RQ5 该方法能否在不同架构和任务中泛化，包括多尺度或编码器-解码器结构？

主要发现

• 所提方法在多个CNN任务（包括色彩化、去拜耳化、光流估计和视差估计）中实现了5%–20%的性能提升。
• 使用可学习滤波器进行边界处理可同时降低边缘和内部区域的误差，表明边界伪影会向内传播，而更优的外推可有效缓解此问题。
• 该方法无运行时开销，因为边界滤波器仅在推理时应用，且已预先训练完成，无需每轮前向传播增加额外计算。
• 收敛速度与标准零填充相当，训练时间或优化难度无显著增加。
• 该方法优于传统的边界规则（如零填充、反射填充和夹紧填充），尤其在保持边缘连续性和减少误报方面表现更优。
• 该方法在深层或多分辨率网络中仍具可扩展性和有效性，这些网络中边界效应最为显著，因受影响像素呈指数级增长。