[논문 리뷰] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You외 3명|arXiv (Cornell University)|2019. 11. 07.

Domain Adaptation and Few-Shot Learning인용 수 75

한 줄 요약

PointDAN은 로컬 다중 스케일 기하학적 특징과 글로벌 표현을 공동으로 정렬하여 3D 포인트 클라우드에 대해 비지도 도메인 적응을 도입하고, Self-Adaptive 노드와 노드 주의 및 adversarial/global MMD 목적을 사용합니다. 또한 교차 도메인 3D 객체 분류를 위한 새로운 PointDA-10 벤치마크를 제공합니다.

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

연구 동기 및 목표

• 로컬 기하가 의미론적으로 중요한 3D 포인트 클라우드 데이터에 대한 도메인 적응의 필요성을 제시한다.
• 로컬 특징 정렬 메커니즘을 제안하여 discriminative 로컬 구조를 포착하는 Self-Adaptive(SA) 노드를 사용한다.
• 객체와 도메인 간에 SA 노드의 가중치를 매기기 위한 노드 주의 모듈을 도입한다.
• 도메인 간 글로벌 표현 정렬을 위해 적대적 학습(MCD)을 통한 글로벌 특징 정렬을 적용한다.
• 3D 포인트 클라우드 도메인 적응 방법을 평가하기 위한 새로운 PointDA-10 벤치마크를 제공한다.

제안 방법

• 주변 노드와 그 k 이웃에 대한 로컬 기하를 캡처하기 위한 적응 수용영역을 가진 Self-Adaptive(SA) 노드 구성.
• 정렬을 위한 노드 기여도를 가중하기 위해 노드 주의 네트워크로 SA 노드 특징을 정제한다.
• 로컬 에지 벡터를 사용한 변형 가능한 오프셋 학습으로 노드 위치를 이동시키는 방식으로 로컬 특징 정렬을 안내한다(Eq. 1–4).
• 소스와 타깃 도메인 간 SA 노드 특징 정렬에 MMD 손실을 사용한다(Eq. 6).
• 전역 특징 정렬은 두 분류기로 글로벌 특징을 정렬하기 위해 Maximum Classifier Discrepancy(MCD)를 사용한다(Eq. 7–9).
• 학습은 분류기를 최적화하는(최대화/불일치 목표) 단계와 생성기/인코더/노드 주의기를 최적화하는 단계가 번갈아 진행되며, L_cls, L_dis, L_mmd를 포함한 결합 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 도메인 간의 로컬 기하 구조와 글로벌 표현을 모두 정렬하여 비지도 도메인 적응을 3D 포인트 클라우드 데이터에서 직접 효과적으로 수행할 수 있는가?
• RQ2 SA 노드와 노드 주의 메커니즘이 3D 포인트 클라우드의 로컬 특징 간의 도메인 간 정렬을 개선하는가?
• RQ3 로컬 SA-노드 정렬과 글로벌 적대적/불일치 기반 정렬의 결합이 3D 데이터에 적용될 때 기존의 2D DA 방법들보다 더 효과적인가?
• RQ4 제안된 PointDA-10 벤치마크가 3D 교차 도메인 분류에서 PointDAN의 우수성을 기준 DA 방법들보다 보여주는가?

주요 결과

• PointDAN은 PointDA-10에서 여러 적응 시나리오에 대해 일반 목적 DA 베이스라인(MMD, ADDA, DANN, MCD)을 능가한다.
• SA 노드와 노드 주의가 결합된 로컬 정렬은 Adapt 없이와 단지 글로벌 정렬만 사용하는 경우에 비해 상당한 이점을 제공한다.
• 적응 수용영역을 갖춘 SA 노드는 도메인 간에 공통 기하 구조를 더 잘 포착하여 전이를 돕는다.
• 클래스별 결과는 Monitor, Chair 등 몇몇 클래스에서 개선을 보이지만 Sofa, Bed 등 일부 클래스는 UDA 하에서도 여전히 도전적이다.
• 수렴 분석은 로컬 정렬이 더 빠르고 안정적임을 시사하며, conv3 중간 레벨 특징이 SA 노드에 가장 좋은 로컬 정보를 제공한다.