[논문 리뷰] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You외 3명|arXiv (Cornell University)|2019. 11. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 93

한 줄 요약

PointDAN은 Self-Adaptive 노드와 노드 어텐션을 사용하여 글로벌 특징과 로컬 기하학적 구조를 공동으로 정렬하고, 더불어 적대적 글로벌 정렬 및 MMD 기반 안정화를 적용하여 3D 포인트 클라우드에 대한 감독 없는 도메인 적응을 도입하며, 새로운 PointDA-10 벤치마크에서 평가된다.

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

연구 동기 및 목표

• 지오메트리적으로 풍부한 표현들 간의 도메인 간 차이를 해소하기 위해 3D 포인트 클라우드 데이터에서 직접 도메인 적응의 필요성을 제기한다.
• 로컬(다중 영역) 및 글로벌 특징 분포를 공동으로 다루는 다중 스케일 정렬 프레임워크를 개발한다.
• Self-Adaptive (SA) 노드를 도입하여 수용영역을 적응시키고 교차 도메인 정렬을 위한 식별 가능한 로컬 구조를 포착한다.
• 객체와 도메인에 걸친 SA 노드의 기여를 가중하기 위해 노드 어텐션 메커니즘을 도입한다.
• 교차 도메인 객체 분류를 위해 ModelNet, ShapeNet, ScanNet에서 새로운 3D DA 벤치마크(PointDA-10)를 확립한다.

제안 방법

• 로컬 에지 벡터에 의해 안내되는 적응 오프셋 메커니즘으로 SA 노드를 제안하여 노드 위치를 동적으로 이동시키고 로컬 영역을 재정의한다.
• 멀티레이어 인코더로 이웃 정보를 집계하여 노드 특징을 계산하고, 각 영역에 대해 최대풀링을 수행하여 SA 노드 표현을 얻는다.
• 노드 간 관계를 모델링하고 정렬 목표에 대한 기여를 가중하기 위해 노드 어텐션 네트워크를 적용한다.
• GAN 기반 그래디언트에만 의존하지 않고 MMD를 사용하여 도메인 간 SA 노드 특징을 정렬하여 로컬 정렬을 안정화한다.
• 두 분류기를 사용한 Domain Adversarial/Discrepancy 접근법(MCD)을 통해 글로벌 특징 정렬을 결합하고 교차 도메인 정렬을 위해 불일치를 극대화/최소화한다.
• 두 단계로 학습: (i) 불일치 손실과 소스 분류 손실로 분류기를 학습하고, (ii) 불일치, 분류 및 MMD 손실로 인코더/생성기를 학습한다.

실험 결과

연구 질문

• RQ1 로컬 기하학적 구조를 글로벌 특징 정렬과 함께 활용함으로써 비지도 도메인 적응을 3D 포인트 클라우드 데이터에서 직접 효과적으로 수행할 수 있는가?
• RQ2 Self-Adaptive (SA) 노드와 노드 어텐션이 도메인 간의 로컬 3D 구조 정렬을 개선하는가?
• RQ3 로컬 SA 기반 정렬과 글로벌 불일치 기반 정렬(MCD)을 결합하는 것이 교차 도메인 3D 객체 분류 작업에서 기존의 3D UDA 베이스라인을 능가하는가?

주요 결과

• PointDAN은 PointDA-10 벤치마크에서 다수의 적응 시나리오에 걸쳐 일반 목적 DA 방법들(MMD, ADDA, DANN, MCD)을 능가한다.
• 제거 실험(ablation)에서 SA 노드를 로컬 정렬과 함께 포함시키면 성능이 크게 향상되고, 노드 어텐션과 글로벌 정렬로 추가 이득이 있다.
• 로컬(SA 노드와 MMD)과 글로벌(MCD) 정렬을 함께 사용하면 도메인 간 쌍에서 평균 정확도가 가장 높다.
• 논문은 수렴 이점을 보여주고 conv3 기반의 중간 수준 특징이 로컬 정렬에 가장 효과적임을 확인한다.
• 상위 기여 SA 노드의 시각화는 매칭된 노드가 의자 다리와 같은 의미론적으로 의미 있는 로컬 기하에 대응한다는 것을 보여준다.