[論文レビュー] PointDAN: A Multi-Scale 3D Domain Adaption Network for Point Cloud Representation

Can Qin, Haoxuan You+3 more|arXiv (Cornell University)|Nov 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 93

ひとこと要約

PointDAN は Self-Adaptive ノードを用いたノード注意機構により、グローバル特徴と局所幾何構造を共同で整合させることで 3D ポイントクラウドの教師なしドメイン適応を実現します。新しい PointDA-10 ベンチマークで評価。 adversarial global alignment と MMD ベースの安定化を組み合わせています。

ABSTRACT

Domain Adaptation (DA) approaches achieved significant improvements in a wide range of machine learning and computer vision tasks (i.e., classification, detection, and segmentation). However, as far as we are aware, there are few methods yet to achieve domain adaptation directly on 3D point cloud data. The unique challenge of point cloud data lies in its abundant spatial geometric information, and the semantics of the whole object is contributed by including regional geometric structures. Specifically, most general-purpose DA methods that struggle for global feature alignment and ignore local geometric information are not suitable for 3D domain alignment. In this paper, we propose a novel 3D Domain Adaptation Network for point cloud data (PointDAN). PointDAN jointly aligns the global and local features in multi-level. For local alignment, we propose Self-Adaptive (SA) node module with an adjusted receptive field to model the discriminative local structures for aligning domains. To represent hierarchically scaled features, node-attention module is further introduced to weight the relationship of SA nodes across objects and domains. For global alignment, an adversarial-training strategy is employed to learn and align global features across domains. Since there is no common evaluation benchmark for 3D point cloud DA scenario, we build a general benchmark (i.e., PointDA-10) extracted from three popular 3D object/scene datasets (i.e., ModelNet, ShapeNet and ScanNet) for cross-domain 3D objects classification fashion. Extensive experiments on PointDA-10 illustrate the superiority of our model over the state-of-the-art general-purpose DA methods.

研究の動機と目的

• 幾何学的に豊かな表現のドメイン間ギャップを埋めるため、3D ポイントクラウドデータ上で直接ドメイン適応を動機づける。
• 局所（マルチリージョン）およびグローバルな特徴分布を共同で扱う多スケール整合フレームワークを開発する。
• Self-Adaptive (SA) ノードを導入し、クロスドメイン整合のための識別的な局所構造を捉える。
• ノード注意機構を組み込み、SAノードの寄与をオブジェクト間およびドメイン間で重み付けする。
• ModelNet、ShapeNet、ScanNet から新しい 3D DA ベンチマーク（PointDA-10）を確立し、クロスドメインの物体分類を評価する。

提案手法

• 局所エッジベクトルに導かれた適応オフセット機構を用いてノード位置を動的にシフトし、局所領域を再定義するSAノードを提案する。
• SAノード表現のために、多層エンコーダーを用いて近傍情報を集約し、各領域で最大プーリングを行う。
• ノード間の関係をモデル化し、整合目的への寄与に重みを付けるノード注意ネットワークを適用する。
• MMD を用いてドメイン間で SA ノード特徴を整列させ、GAN ベースの勾配にのみ依存せず局所整合を安定化させる。
• 二つの分類器を用いた Domain Adversarial/Discrepancy アプローチ（MCD）によるグローバル特徴整合を組み合わせ、クロスドメイン整合のために不一致を最大化・最小化する。
• 二段階で訓練する： (i) 不一致損失とソース分類損失で分類器を訓練、(ii) 不一致、分類、および MMD 損失でエンコーダ/ジェネレーターを訓練。

実験結果

リサーチクエスチョン

• RQ1 局所的な幾何構造をグローバル特徴の整合と併せて活用することで、3D ポイントクラウドデータ上で効果的に教師なしドメイン適応を実現できるだろうか？
• RQ2 Self-Adaptive (SA) ノードとノード注意は、ドメイン間での局所的な3D構造の整合を改善するだろうか？
• RQ3 局所的なSAベースの整合とグローバルな不一致ベースの整合（MCD）を組み合わせることで、クロスドメインの3D物体分類タスクにおいて既存の3D UDA ベースラインを上回るだろうか？

主な発見

• PointDAN は PointDA-10 ベンチマークで、複数の適応シナリオにわたって一般目的のDA手法（MMD, ADDA, DANN, MCD）を上回る。
• アブレーション研究では、局所整合を伴う SA ノードの組み込みが性能を大幅に向上させ、ノード注意とグローバル整合によってさらなる利得が得られる。
• 局所（SAノードと MMD）とグローバル（MCD）の整合の併用により、ドメインペア間で最も良い平均精度を得る。
• 収束の利点を示し、conv3 ベースの中間レベル特徴が局所整合に最も効果的であると特定している。
• 寄与度の高い SA ノードの可視化は、対応するノードが意味的に有意な局所幾何（例えば椅子の脚）に対応することを示している。