[论文解读] Few-Shot Meta-Learning on Point Cloud for Semantic Segmentation

Xudong Li, Feng Li+2 more|arXiv (Cornell University)|Apr 7, 2021

3D Shape Modeling and Analysis参考文献 24被引用 5

一句话总结

该论文提出了一种基于模型无关元学习（MAML）方法并以PointNet作为基础学习器的 few-shot 元学习框架，用于3D点云语义分割。该方法仅需少量标注样本即可快速适应新环境，在S3DIS数据集的多样化室内场景中实现了出色的泛化性能，交叉验证设置下的准确率最高达到88.0%。

ABSTRACT

The promotion of construction robots can solve the problem of human resource shortage and improve the quality of decoration. To help the construction robots obtain environmental information, we need to use 3D point cloud, which is widely used in robotics, autonomous driving, and so on. With a good understanding of environmental information, construction robots can work better. However, the dynamic changes of 3D point cloud data may bring difficulties for construction robots to understand environmental information, such as when construction robots renovate houses. The paper proposes a semantic segmentation method for point cloud based on meta-learning. The method includes a basic learning module and a meta-learning module. The basic learning module is responsible for learning data features and evaluating the model, while the meta-learning module is responsible for updating the parameters of the model and improving the model generalization ability. In our work, we pioneered the method of producing datasets for meta-learning in 3D scenes, as well as demonstrated that the Model-Agnostic Meta-Learning (MAML) algorithm can be applied to process 3D point cloud data. At the same time, experiments show that our method can allow the model to be quickly applied to new environments with a few samples. Our method has important applications.

研究动机与目标

• 解决在仅有少量标注样本的情况下，3D点云语义分割的挑战。
• 使建筑机器人能够以最少的微调快速适应新的室内环境。
• 开创性地将元学习，特别是MAML，应用于3D点云数据，实现few-shot语义分割。
• 在标注数据有限的情况下，提升模型在多样化室内场景中的泛化能力。

提出的方法

• 该方法采用双模块架构：基于PointNet的基本学习模块，用于从支持集和查询集进行特征提取与损失评估。
• 元学习模块利用MAML通过在查询集损失上反向传播来更新网络权重，实现快速适应。
• 采用N-way K-shot采样方法，从S3DIS数据集中构建支持集和查询集以进行元训练。
• 模型在S3DIS的多个区域上进行预训练，并在未见区域上进行微调，以评估泛化性能。
• 通过episode训练方式端到端训练框架，每个episode模拟一个新的few-shot学习场景。
• 通过在某一区域上训练并在其他区域上测试，执行交叉验证，以评估模型的鲁棒性与领域泛化能力。

实验结果

研究问题

• RQ1 在标注数据有限的情况下，元学习能否有效应用于3D点云语义分割？
• RQ2 基于MAML的模型在S3DIS数据集的不同室内环境中泛化性能如何？
• RQ3 预训练数据的多样性与规模对few-shot分割性能有何影响？
• RQ4 在不同few-shot设置下（如2-way vs. 6-way，2-shot vs. 6-shot），模型性能如何？
• RQ5 将多个训练区域组合为预训练集，是否比单区域预训练更能提升泛化性能？

主要发现

• 当在Area 5上预训练并在Area 3上测试时，模型在交叉验证中达到最高88.0%的准确率。
• 在多个区域（Area 1–5）上进行预训练所获得的分割准确率（87.8%）高于使用任意单一区域作为预训练数据的情况。
• 2-way 6-shot设置优于其他组合，在Area 5上达到86.2%的准确率，在Area 6上达到85.5%。
• 当测试环境与预训练数据相似时，泛化性能更高，表明领域相似性具有重要影响。
• 模型在复杂场景（如办公室）中的表现优于简单场景（如储藏室），表明更丰富的上下文信息有助于分割。
• 结合MAML与PointNet的方法可仅用少量标注样本即实现对新环境的快速适应，充分展示了强大的few-shot泛化能力。