[論文レビュー] L3DOC: Lifelong 3D Object Classification

Yuyang Liu, Yang Cong+1 more|arXiv (Cornell University)|Dec 12, 2019

3D Shape Modeling and Analysis参考文献 43被引用数 7

ひとこと要約

この論文では、再訓練や微調整を必要とせずに、3次元点群分類の継続的学習を可能にする、L3DOCと呼ばれる生涯的3次元物体分類フレームワークを提案する。層ごとのテンソル因子分解を用いて共有される点の知識を捉え、メモリアテンション機構を用いてタスク固有の知識を効果的に選択的に転送することで、ModelNetおよび3DMNISTデータセットにおいて、増分的なタスクに対して、モデルパラメータを1.68–3.36倍削減しながら、崩壊的忘却を防止する。

ABSTRACT

3D object classification has been widely-applied into both academic and industrial scenarios. However, most state-of-the-art algorithms are facing with a fixed 3D object classification task set, which cannot well tackle the new coming data with incremental tasks as human ourselves. Meanwhile, the performance of most state-of-the-art lifelong learning models can be deteriorated easily on previously learned classification tasks, due to the existing of unordered, large-scale, and irregular 3D geometry data. To address this challenge, in this paper, we propose a Lifelong 3D Object Classification (i.e., L3DOC) framewor, which can consecutively learn new 3D object classification tasks via imitating 'human learning'. Specifically, the core idea of our proposed L3DOC model is to factorize PointNet in a perspective of lifelong learning, while capturing and storing the shared point-knowledge in a perspective of layer-wise tensor factorization architecture. To further transfer the task-specific knowledge from previous tasks to the new coming classification task, a memory attention mechanism is proposed to connect the current task with relevant previously tasks, which can effectively prevent catastrophic forgetting via soft-transferring previous knowledge. To our best knowledge, this is the first work about using lifelong learning to handle 3D object classification task without model fine-tuning or retraining. Furthermore, our L3DOC model can also be extended to other backbone network (e.g., PointNet++). To the end, comparisons on several point cloud datasets validate that our L3DOC model can reduce averaged 1.68~3.36 times parameters for the overall model, without sacrificing classification accuracy of each task.

研究の動機と目的

• 新しいタスクが段階的かつ予測不能に到着する現実世界のシナリオにおいて、継続的3次元物体分類の課題に対処すること。
• 再訓練なしに新しいタスクを学習する際の3次元ディープラーニングモデルにおける崩壊的忘却を克服すること。
• 以前に学習したタスクのパフォーマンスを保持する、パラメータ効率の良い生涯的学習フレームワークを3次元点群データに対して開発すること。
• 微調整やモデル再訓練に依存せずに、タスク間での知識転送を可能にすること。
• PointNet++などの他のバックボーンネットワークへの拡張を可能にする、より広範な適用性を持つフレームワークの構築。

提案手法

• L3DOCは、タスク間で共有される点の知識を抽出・保存するため、層ごとのテンソルチャネル因子分解アーキテクチャを採用し、点群の無順序な近接構造を保持する。
• この手法は、PointNetの畳み込みカーネルを層とチャネルにわたり因子分解することで、幾何的知識のコンactな共有表現を生成する。
• メモリアテンション機構を導入し、関連する過去のタスクを特定し、タスク固有の知識を効果的にソフトマッピングで転送する。
• メモリアテンション機構は、学習可能なパラメータを用いて過去のタスク表現からの寄与度を重み付けし、干渉と忘却を最小限に抑える。
• このフレームワークは拡張性を備えており、PointNet++などの他の3次元バックボーンネットワークへの統合が可能である。
• 損失関数には、増分学習中に過去のタスクのパフォーマンスを維持するためのアテンションベースの正則化が組み込まれている。

実験結果

リサーチクエスチョン

• RQ1 再訓練や微調整なしに、生涯的学習フレームワークを3次元物体分類に効果的に適用できるか？
• RQ2 無順序かつ不規則な3次元点群において、時間経過とともに共有される幾何的知識をどのように捉え、保存できるか？
• RQ3 メモリアテンション機構は、継続的3次元分類における崩壊的忘却をどの程度軽減できるか？
• RQ4 提案された層ごとの因子分解は、分類精度を維持しつつ、どのようにモデルパラメータを削減できるか？
• RQ5 L3DOCフレームワークは、PointNet++などの他の3次元バックボーンネットワークへ一般化可能か？

主な発見

• L3DOCは、すべてのタスクにおいて分類精度に妥協を来さずに、モデルパラメータを1.68倍から3.36倍まで削減した。
• ModelNet10では、PointNet++をベースにしたL3DOCが、平均APA 64.04%を達成し、STLを22.38ポイント上回った。
• アブレーションスタディから、メモリアテンション機構は安定性を著しく向上させ、性能のばらつきを低減し、崩壊的忘却を防止することが示された。
• PointNet++バックボーンを用いたL3DOCは、10,000サンプルあたり31.57秒で学習を完了し、メモリ使用量が2.481 MiB、パラメータ数が13.25kにとどまり、効率性とメモリ使用効率においてSTLを上回った。
• アブレーションスタディから、メモリアテンション機構またはその構成要素を削除すると、顕著なパフォーマンス低下が生じ、その重要性が裏付けられた。
• L3DOCは、大規模なModelNet40においても高い収束速度と低い分散を維持しており、L3DOC(Group1)は高い学習時間であるものの、優れたパフォーマンスを示した。