[논문 리뷰] L3DOC: Lifelong 3D Object Classification

Yuyang Liu, Yang Cong외 1명|arXiv (Cornell University)|2019. 12. 12.

3D Shape Modeling and Analysis참고 문헌 43인용 수 7

한 줄 요약

이 논문은 재학습이나 미세조정 없이도 지속적인 3D 포인트 클러스터 분류를 가능하게 하는 라이프런닝 3D 객체 분류 프레임워크인 L3DOC를 제안한다. 층별 텐서 분해를 통해 공유되는 포인트 지식을 캡처하고, 메모리 어텐션 메커니즘을 통해 작업별 지식을 선택적으로 전이함으로써, ModelNet과 3DMNIST 데이터셋에서 증분 작업 간에 치명적인 잊음 현상을 방지하면서 모델 파라미터를 1.68–3.36배 줄였다.

ABSTRACT

3D object classification has been widely-applied into both academic and industrial scenarios. However, most state-of-the-art algorithms are facing with a fixed 3D object classification task set, which cannot well tackle the new coming data with incremental tasks as human ourselves. Meanwhile, the performance of most state-of-the-art lifelong learning models can be deteriorated easily on previously learned classification tasks, due to the existing of unordered, large-scale, and irregular 3D geometry data. To address this challenge, in this paper, we propose a Lifelong 3D Object Classification (i.e., L3DOC) framewor, which can consecutively learn new 3D object classification tasks via imitating 'human learning'. Specifically, the core idea of our proposed L3DOC model is to factorize PointNet in a perspective of lifelong learning, while capturing and storing the shared point-knowledge in a perspective of layer-wise tensor factorization architecture. To further transfer the task-specific knowledge from previous tasks to the new coming classification task, a memory attention mechanism is proposed to connect the current task with relevant previously tasks, which can effectively prevent catastrophic forgetting via soft-transferring previous knowledge. To our best knowledge, this is the first work about using lifelong learning to handle 3D object classification task without model fine-tuning or retraining. Furthermore, our L3DOC model can also be extended to other backbone network (e.g., PointNet++). To the end, comparisons on several point cloud datasets validate that our L3DOC model can reduce averaged 1.68~3.36 times parameters for the overall model, without sacrificing classification accuracy of each task.

연구 동기 및 목표

• 새로운 작업이 점진적이고 예측 불가능하게 도래하는 실제 환경에서 지속적인 3D 객체 분류의 과제를 해결하기 위해.
• 재학습 없이 새로운 작업을 학습할 때 3D 딥 러닝 모델에서 발생하는 치명적인 잊음 현상을 극복하기 위해.
• 이전에 학습한 작업의 성능을 유지하면서 포인트 클라우드 데이터에 대해 파라미터 효율적인 수명 주기 학습 프레임워크를 개발하기 위해.
• 재학습이나 모델 재학습에 의존하지 않고 작업 간 지식 전이를 가능하게 하기 위해.
• 더 넓은 적용 가능성을 위해 PointNet++과 같은 다른 백본 네트워크로의 확장 가능성을 제공하기 위해.

제안 방법

• L3DOC는 작업 간 공유되는 포인트 지식을 추출하고 저장하기 위해 층별 텐서-채널 분해 아키텍처를 사용하며, 포인트 클라우드의 순서 없는 근접 구조를 유지한다.
• 이 방법은 PointNet의 컨볼루션 커널을 층과 채널에 걸쳐 분해하여 기하학적 지식의 압축된 공유 표현을 생성한다.
• 메모리 어텐션 메커니즘을 도입하여 이전 작업들 중 관련된 것을 식별하고, 작업별 지식을 선택적으로 소프트 전이한다.
• 메모리 어텐션 메커니즘은 이전 작업 표현의 기여도를 가중치로 설정하는 학습 가능한 파라미터를 사용하여 간섭과 잊음 현상을 최소화한다.
• 이 프레임워크는 확장 가능하도록 설계되어 PointNet++과 같은 다른 3D 백본 네트워크와의 통합이 가능하다.
• 손실 함수는 증분 학습 중 이전 작업의 성능를 유지하기 위해 어텐션 기반 정규화를 통합한다.

실험 결과

연구 질문

• RQ1 재학습이나 미세조정 없이도 수명 주기 학습 프레임워크를 3D 객체 분류에 효과적으로 적용할 수 있는가?
• RQ2 순서 없는 비정규적인 3D 포인트 클라우드 간의 공유 기하학적 지식을 시간이 지남에 따라 어떻게 캡처하고 유지할 수 있는가?
• RQ3 메모리 어텐션 메커니즘이 지속적인 3D 분류에서 치명적인 잊음 현상을 어느 정도 줄일 수 있는가?
• RQ4 제안된 층별 분해 기법이 분류 정확도를 유지하면서 모델 파라미터를 얼마나 줄일 수 있는가?
• RQ5 L3DOC 프레임워크는 PointNet++과 같은 다른 3D 백본 네트워크로 일반화될 수 있는가?

주요 결과

• L3DOC는 모든 작업에서 분류 정확도에 손상이 가지 않으면서도 모델 파라미터를 1.68배에서 3.36배까지 줄였다.
• ModelNet10에서 L3DOC는 PointNet++ 기반으로 평균 APA가 64.04%를 기록했으며, STL보다 22.38个百分点 높았다.
• 메모리 어텐션 메커니즘은 안정성을 크게 향상시켜 성능 변동을 줄이고 치명적인 잊음 현상을 방지했으며, 분석 실험에서 이를 확인했다.
• L3DOC는 PointNet++ 백본을 사용할 경우 10,000개 샘플당 31.57초의 훈련 시간, 2.481 MiB 메모리 사용량, 13.25만 개의 파라미터를 사용하며, 효율성과 메모리 사용 측면에서 STL를 능가했다.
• 분석 실험 결과, 메모리 어텐션 메커니즘 또는 그 구성 요소를 제거할 경우 성능 저하가 심각하게 발생함을 확인하여, 이 메커니즘이 핵심적인 역할을 한다는 것을 입증했다.
• L3DOC는 모든 작업에서 높은 수렴 속도와 낮은 분산을 유지했으며, L3DOC(Group1)는 더 큰 규모의 ModelNet40에서도 뛰어난 성능을 보였음에도 불구하고 훈련 시간이 다소 더 길었다.