[論文レビュー] Self-Supervised Learning for Domain Adaptation on Point-Clouds

Idan Achituve, Haggai Maron+1 more|arXiv (Cornell University)|Mar 29, 2020

Human Pose and Action Recognition参考文献 69被引用数 33

ひとこと要約

論文は Deformation Reconstruction (DefRec) を導入し、点群のドメイン適応のための自己教師あり学習タスク、さらに Point Cloud Mixup (PCM) を提案。PointDA-10 で最先端、さらには新しい PointSegDA ベンチマークを導入。

ABSTRACT

Self-supervised learning (SSL) is a technique for learning useful representations from unlabeled data. It has been applied effectively to domain adaptation (DA) on images and videos. It is still unknown if and how it can be leveraged for domain adaptation in 3D perception problems. Here we describe the first study of SSL for DA on point clouds. We introduce a new family of pretext tasks, Deformation Reconstruction, inspired by the deformations encountered in sim-to-real transformations. In addition, we propose a novel training procedure for labeled point cloud data motivated by the MixUp method called Point cloud Mixup (PCM). Evaluations on domain adaptations datasets for classification and segmentation, demonstrate a large improvement over existing and baseline methods.

研究の動機と目的

• 3D点群におけるドメイン適応を支援するために、自己教師付き学習(SSL) がどのように役立つかを動機づけ、理解する。
• 点群における一般的なシム→現実データの変形に合わせて、DefRecというSSL事前タスクのファミリーを開発する。
• ソースドメインのラベル付きデータを増強するためのPCM (Point Cloud Mixup) 手法を提案する。
• 分類およびセグメンテーションのベンチマークを通じて、DefRecとPCMがベースラインよりDA性能を向上させることを示す。
• 変形タイプ、アブレーション、DefRec設計の実用的な指針に関する分析を提供する。

提案手法

• 共有の点群エンコーダ Φ と2つのヘッドを備えたマルチタスクアーキテクチャを提案する。h_sup はソースドメインの監督付きタスク、h_SSL は両ドメインでのSSL再構成用。
• Chamfer距離をSSL損失として用い、点群の領域を変形し元の領域を再構成する一連の前処理タスク DefRec を導入する。
• DefRec の3つの領域変形方式を説明する: ボリュームベース、特徴量ベース、サンプリングベースの変形。各方式は変形・再構成する領域を選択する。
• γn 点を1つの点群から、(1−γ)n 点を別の点群からサンプリングして新しいラベル付き点群を作成する、Mixupに着想を得たPCM (Point Cloud Mixup) 手順を導入し、ラベルを線形にブレンディングする。
• 全体の損失を、ソース上の監督付き損失(PCMで拡張された場合もある)と、変形サンプルのSSL再構成損失の加重和として定義する。
• DefRecは主にターゲットデータに適用してドメイン間のギャップを埋め、DefRecと組み合わせた場合にPCMがベースライン性能を改善することを示す。

実験結果

リサーチクエスチョン

• RQ1 3D点群におけるドメイン適応のために、SSL前処理タスクをどのように設計できるか？
• RQ2 変形ベースの再構成タスク（DefRec）は、点群の既存のSSLタスクよりもソース-ターゲット分布のギャップをより効果的に埋められるか？
• RQ3 点群の混合ベース戦略PCMはDAにおいてDefRecを補完するか、分類とセグメンテーションのタスクの性能にどう影響するか？
• RQ4 さまざまなDeRec変形方式（ボリュームベース、特徴量ベース、サンプリングベース）がDA性能に与える影響は？
• RQ5 DefRecはセグメンテーションタスクに拡張可能か、PointSegDAでの性能はどうか？

主な発見

• DefRecおよびDefRec+PCMは6つのPointDA-10適応で強力なベースラインを上回り、DefRec+PCMが総合的に最良の性能を達成。
• DefRec+PCMは、最良のベースラインと比較して平均で約5ポイント、PointDANと比較して約5.5ポイントの精度向上をもたらす。
• ボリュームベース、特徴量ベース、サンプリングベースのDefRec変種はそれぞれ異なる強みを示し、ボリュームベースの変形がしばしば高い性能を示す一方、中〜規模の領域変形の方が効果的である傾向。
• ターゲットデータにDefRecを適用する（必要に応じてソースデータへのPCMも併用）と、sim-to-realおよびデータセット横断の適応で大きな向上をもたらす。
• DefRecはセグメンテーションへ拡張可能であり、DefRec+PCMはPointSegDAの平均IoUをベースラインより改善する。