[论文解读] ACNe: Attentive Context Normalization for Robust Permutation-Equivariant Learning

Weiwei Sun, Wei Jiang+3 more|arXiv (Cornell University)|Jul 4, 2019

Human Pose and Action Recognition参考文献 51被引用 10

一句话总结

本文提出注意力上下文归一化（ACN），一种可学习的归一化技术，通过动态加权特征来抑制异常值，从而增强排列等变网络的性能。受迭代重加权最小二乘法（IRLS）启发，结合局部与全局注意力机制，ACNe在高异常值比例下的点云分类、直线拟合和相机位姿估计任务中达到最先进性能，显著优于CNe和OANet等先前方法。

ABSTRACT

Many problems in computer vision require dealing with sparse, unordered data in the form of point clouds. Permutation-equivariant networks have become a popular solution-they operate on individual data points with simple perceptrons and extract contextual information with global pooling. This can be achieved with a simple normalization of the feature maps, a global operation that is unaffected by the order. In this paper, we propose Attentive Context Normalization (ACN), a simple yet effective technique to build permutation-equivariant networks robust to outliers. Specifically, we show how to normalize the feature maps with weights that are estimated within the network, excluding outliers from this normalization. We use this mechanism to leverage two types of attention: local and global-by combining them, our method is able to find the essential data points in high-dimensional space to solve a given task. We demonstrate through extensive experiments that our approach, which we call Attentive Context Networks (ACNe), provides a significant leap in performance compared to the state-of-the-art on camera pose estimation, robust fitting, and point cloud classification under noise and outliers. Source code: https://github.com/vcg-uvic/acne.

研究动机与目标

• 解决现有排列等变网络在稀疏、无序点云数据中对异常值的脆弱性。
• 提升在宽基线立体视觉、3D物体分类和直线拟合等任务中的鲁棒性，其中异常值比例超过80%。
• 开发一种可学习的归一化机制，通过在神经网络内估计注意力权重，使模型聚焦于内点。
• 在噪声条件下，提升准确率与泛化能力，超越CNe和OANet等现有方法。
• 证明端到端学习的注意力机制在与加权求解器结合时，可超越传统鲁棒估计器（如RANSAC）的性能。

提出的方法

• 提出注意力上下文归一化（ACN），一种可学习的归一化层，通过独立的感知机估计注意力权重来计算特征归一化。
• 引入两种注意力机制：局部注意力用于评估单个点的重要性，全局注意力用于建模点云的整体上下文。
• 采用可微的软内点分配机制，类似于IRLS，其中注意力权重通过迭代方式更新，以降低异常值的影响。
• 通过逐元素相乘结合局部与全局注意力，使网络能够在高维空间中逐步聚焦于内点区域。
• 将归一化后的特征应用于加权8点算法进行相机位姿估计，避免对后处理鲁棒估计器的依赖。
• 通过监督局部注意力权重，端到端训练注意力机制，从而提升特征表示能力与鲁棒性。

实验结果

研究问题

• RQ1 可学习的归一化机制是否能在高异常值比例下提升排列等变网络的鲁棒性？
• RQ2 结合局部与全局注意力机制如何增强点云任务中的特征表示？
• RQ3 ACNe在高异常值场景下是否优于CNe和OANet等最先进方法？
• RQ4 ACNe是否能在不依赖传统鲁棒估计器（如RANSAC或MAGSAC）的情况下实现良好泛化？
• RQ5 注意力监督与归一化类型（GN与BN）对ACNe性能有何影响？

主要发现

• 在Saint Peter’s Square序列中，ACNe在20°时达到0.602的平均精度（mAP），显著优于CNe（0.414）与OANet（0.488），使用SIFT特征。
• 使用SuperPoint特征时，ACNe达到0.637 mAP，超越OANet（0.547）与MAGSAC（0.230），表明其在不同特征类型间具有强大泛化能力。
• 在Outdoors序列中，应用比例测试与双向检查时，ACNe相较RANSAC与MAGSAC分别提升79.2%与92.0%。
• 消融实验表明，结合局部与全局注意力可获得最佳性能，较仅使用全局注意力提升1.6%。
• 监督局部注意力组件可进一步提升性能，表明学习到的注意力比无监督或固定加权更有效。
• ACNe泛化能力极强，无需依赖后处理鲁棒估计器即可达到最优性能，而此前方法则依赖此类处理。