[论文解读] Implicit Autoencoder for Point-Cloud Self-Supervised Representation Learning

Siming Yan, Zhenpei Yang+6 more|arXiv (Cornell University)|Jan 3, 2022

3D Shape Modeling and Analysis被引用 5

一句话总结

本文提出隐式自编码器（IAE），一种自监督3D表征学习方法，通过用隐式曲面函数替代标准点云解码器，减轻点云中的采样差异。通过重建与离散采样噪声无关的连续3D形状表征，IAE使编码器能够学习到更鲁棒、更具几何感知能力的特征，在多个3D视觉基准测试（包括形状分类、目标检测和语义分割）中达到最先进性能。

ABSTRACT

This paper advocates the use of implicit surface representation in autoencoder-based self-supervised 3D representation learning. The most popular and accessible 3D representation, i.e., point clouds, involves discrete samples of the underlying continuous 3D surface. This discretization process introduces sampling variations on the 3D shape, making it challenging to develop transferable knowledge of the true 3D geometry. In the standard autoencoding paradigm, the encoder is compelled to encode not only the 3D geometry but also information on the specific discrete sampling of the 3D shape into the latent code. This is because the point cloud reconstructed by the decoder is considered unacceptable unless there is a perfect mapping between the original and the reconstructed point clouds. This paper introduces the Implicit AutoEncoder (IAE), a simple yet effective method that addresses the sampling variation issue by replacing the commonly-used point-cloud decoder with an implicit decoder. The implicit decoder reconstructs a continuous representation of the 3D shape, independent of the imperfections in the discrete samples. Extensive experiments demonstrate that the proposed IAE achieves state-of-the-art performance across various self-supervised learning benchmarks.

研究动机与目标

• 为解决基于点云的自监督3D表征学习中采样差异的挑战，其中离散采样引入的噪声会干扰模型学习真实的几何结构。
• 通过将潜在码与特定点云采样模式解耦，提升所学表征的鲁棒性与可迁移性。
• 通过用基于隐式函数的重建替代点对点损失（如Chamfer或Earth Mover's Distance），开发更高效、更稳定的重建机制。
• 证明隐式解码可提升下游任务（如分类、检测和分割）的性能，即使在高分辨率点云下亦然。
• 形式化采样差异的概念，并从理论上证明为何隐式解码可避免将此类噪声编码进潜在空间。

提出的方法

• 该方法采用非对称自编码器架构：编码器处理离散点云输入，而解码器通过隐式神经表征（如符号距离函数）输出连续3D形状。
• 解码器实现为一个神经网络，可预测任意3D坐标处的占据状态或符号距离，从而实现与输入采样无关的连续曲面重建。
• 重建损失在3D空间中的一组查询点上计算，避免了标准自编码器中昂贵且不稳定的点对点匹配操作。
• 通过优化潜在码以重建隐式函数，促使编码器学习在相同潜在形状的不同采样模式下均能泛化的特征。
• 理论分析表明，在理想化假设下，IAE中的编码器对垂直于真实形状流形的采样变化具有不变性，而标准自编码器则对此类噪声敏感。
• 该框架支持单张GPU上高达40,000个点的高分辨率输入，使细粒度几何细节学习成为可能，而先前方法通常受限于约1,000个点。

实验结果

研究问题

• RQ1 将点云解码器替换为隐式曲面解码器，能否减轻采样差异对自监督3D自编码器中所学表征的影响？
• RQ2 与基于点的重建相比，隐式重建是否能带来更鲁棒、更具泛化能力的特征？
• RQ3 隐式自编码器是否能在下游3D视觉任务（如分类、检测和分割）中优于现有自监督方法？
• RQ4 与传统的Chamfer或Earth Mover's Distance等点基损失相比，隐式解码方法是否更高效、更稳定？
• RQ5 理论分析表明，IAE的潜在空间在多大程度上对采样差异保持不变？

主要发现

• IAE在多个自监督3D表征学习基准上达到最先进性能，涵盖形状分类、线性评估、3D目标检测和室内语义分割。
• 模型在单张Tesla V100 GPU上每轮前向传播可处理高达40,000个输入点，支持高分辨率几何学习，而先前方法通常受限于约1,000个点。
• 理论分析证明，IAE中的编码器对垂直于真实形状流形的采样变化具有不变性，而标准自编码器则对此类噪声敏感。
• IAE在所有评估的下游任务中均优于现有自监督方法，展现出更强的泛化能力与鲁棒性。
• 隐式重建损失避免了昂贵且不稳定的关联操作，相比点基损失，训练速度更快、更稳定。
• 所学表征在对象级与场景级任务中均表现出良好泛化能力，证实隐式解码在捕捉真实几何结构方面的有效性。