[論文レビュー] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You+3 more|arXiv (Cornell University)|Nov 7, 2019

Domain Adaptation and Few-Shot Learning被引用数 75

ひとこと要約

PointDANは、Self-Adaptiveノードとノードアテンションを用いたローカル多尺度几何特徴とグローバル表現を jointly alignment することで、3D点群の教師なしドメイン適応を実現します。さらに、クロスドメインの3Dオブジェクト分類のための新しいPointDA-10ベンチマークを提供します。

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

研究の動機と目的

• 3D点群データにおける局所幾何が意味論的に重要であることを前提としたドメイン適応を動機付ける。
• discriminative local structuresを捉えるためのSelf-Adaptive (SA)ノードを用いた局所特徴整列機構を提案する。
• オブジェクトとドメイン間でSAノードを重み付けするノードアテンションモジュールを導入する。
• グローバル表現をドメイン間で揃えるための対戦的訓練（MCD）を用いたグローバル特徴整列を適用する。
• 3D点群ドメイン適応法を評価する新しいPointDA-10ベンチマークを提供する。

提案手法

• ノード周囲の局所幾何を捉える適応受容野を持つSelf-Adaptive (SA)ノードの構築。
• SAノードの特徴はノードアテンションネットワークで精緻化され、整列への寄与を重み付けする。
• 局所エッジベクトルを用いたデフォルメラブル風オフセット学習（Eq. 1–4）によって局所特徴整列を導く。
• SAノード特徴をソースとターゲット間で整列させるためにMMD損失を用いる（Eq. 6）。
• グローバル特徴整列は2つの分類器を用いたMaximum Classifier Discrepancy (MCD)で実現し、グローバル特徴を整列させる（Eq. 7–9）。
• 訓練は分類器の最適化（最大化/距離 objective）と生成器/エンコーダ/ノードアテンションの最小化（L_cls, L_dis, L_mmdを含む）を交互に行う。

実験結果

リサーチクエスチョン

• RQ1 本研究では、ローカル幾何構造とグローバル表現の整列を通じて、3D点群データに対して効果的な教師なしドメイン適応を直接実現できるか。
• RQ2 SAノードとノードアテンション機構は、3D点群の局所特徴のクロスドメイン整列を改善するか。
• RQ3 局所SAノード整列とグローバル対向/差異ベース整列を組み合わせる方が、従来の2DDA手法と比較して3Dデータに適用した場合により効果的か。
• RQ4 提案されたPointDA-10ベンチマークは、3Dクロスドメイン分類におけるPointDANの優位性をベースラインDA手法よりも明らかに示すか。

主な発見

• PointDANはPointDA-10の複数の適応シナリオで一般目的のDAベースライン（MMD, ADDA, DANN, MCD）を上回る。
• SAノードとノードアテンションを用いた局所整列は、Adaptあり/なしの比較やグローバル整列のみの場合より大きな改善を生む。
• 適応受容野を持つSAノードは、ドメイン間で共通の幾何構造をより良く捕捉し、転移を助ける。
• クラス別の結果では、MonitorやChairなどのいくつかのクラスで改善が見られる一方、SofaやBedなど一部クラスはUDA下で依然として難しい。
• 収束解析は、局所整列でより速く安定した収束を示し、conv3中間レベルの特徴がSAノードにとって最良の局所情報を提供する。