[论文解读] L3DOC: Lifelong 3D Object Classification

Yuyang Liu, Yang Cong+1 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 43被引用 7

一句话总结

该论文提出L3DOC，一种终身3D物体分类框架，可在无需微调或重新训练的情况下实现3D点云分类的持续学习。通过采用逐层张量分解以捕获共享点知识，并引入记忆注意力机制以选择性地迁移特定任务知识，L3DOC在ModelNet和3DMNIST数据集上实现了1.68–3.36倍的模型参数压缩，同时有效防止了在增量任务中发生灾难性遗忘。

ABSTRACT

3D object classification has been widely-applied into both academic and industrial scenarios. However, most state-of-the-art algorithms are facing with a fixed 3D object classification task set, which cannot well tackle the new coming data with incremental tasks as human ourselves. Meanwhile, the performance of most state-of-the-art lifelong learning models can be deteriorated easily on previously learned classification tasks, due to the existing of unordered, large-scale, and irregular 3D geometry data. To address this challenge, in this paper, we propose a Lifelong 3D Object Classification (i.e., L3DOC) framewor, which can consecutively learn new 3D object classification tasks via imitating 'human learning'. Specifically, the core idea of our proposed L3DOC model is to factorize PointNet in a perspective of lifelong learning, while capturing and storing the shared point-knowledge in a perspective of layer-wise tensor factorization architecture. To further transfer the task-specific knowledge from previous tasks to the new coming classification task, a memory attention mechanism is proposed to connect the current task with relevant previously tasks, which can effectively prevent catastrophic forgetting via soft-transferring previous knowledge. To our best knowledge, this is the first work about using lifelong learning to handle 3D object classification task without model fine-tuning or retraining. Furthermore, our L3DOC model can also be extended to other backbone network (e.g., PointNet++). To the end, comparisons on several point cloud datasets validate that our L3DOC model can reduce averaged 1.68~3.36 times parameters for the overall model, without sacrificing classification accuracy of each task.

研究动机与目标

• 为解决在真实场景中新增任务以不可预测的增量方式持续出现时，持续3D物体分类的挑战。
• 克服在无需重新训练的情况下学习新任务时，3D深度学习模型发生灾难性遗忘的问题。
• 开发一种针对3D点云数据的参数高效终身学习框架，以保持对先前学习任务的性能。
• 实现在不依赖微调或模型重新训练的前提下，跨任务的知识迁移。
• 将该框架扩展至其他主干网络（如PointNet++），以提升其广泛适用性。

提出的方法

• L3DOC采用逐层张量-通道分解架构，以提取并存储跨任务的共享点知识，同时保留点云无序邻域结构的特性。
• 该方法对PointNet的卷积核在层与通道维度上进行分解，以生成紧凑且共享的几何知识表示。
• 引入记忆注意力机制，以识别相关的历史任务，并选择性地将特定任务知识软性迁移至新任务。
• 记忆注意力机制利用可学习参数来加权先前任务表示的贡献，从而最小化干扰与遗忘。
• 该框架设计具有可扩展性，支持与PointNet++等其他3D主干网络集成。
• 损失函数引入基于注意力的正则化项，以在增量学习过程中维持对先前任务的性能。

实验结果

研究问题

• RQ1 是否能够有效将终身学习框架应用于3D物体分类，而无需重新训练或微调？
• RQ2 如何在无序、不规则的3D点云中长期捕获并保留共享的几何知识？
• RQ3 记忆注意力机制在持续3D分类中在多大程度上可减少灾难性遗忘？
• RQ4 所提出的逐层分解在保持分类准确率的同时，如何降低模型参数量？
• RQ5 L3DOC框架是否可推广至其他3D主干网络（如PointNet++）？

主要发现

• L3DOC在所有任务中将模型参数量减少了1.68倍至3.36倍，且未牺牲任一任务的分类准确率。
• 在ModelNet10上，基于PointNet++的L3DOC在平均精确率-平均值（APA）上达到64.04%，相比STL高出22.38个百分点。
• 消融实验表明，记忆注意力机制显著提升了模型稳定性，减少了性能波动，并有效防止了灾难性遗忘。
• 采用PointNet++主干的L3DOC在每10,000个样本的训练中仅耗时31.57秒，内存占用2.481 MiB，参数量13.25k，效率与内存使用均优于STL。
• 消融研究证实，若移除记忆注意力机制或其组件，性能将显著下降，验证了其关键作用。
• 该框架在各任务中保持了高收敛速度与低方差，尽管训练时间较长，L3DOC(Group1)在大规模ModelNet40上仍表现出优越性能。