[論文レビュー] PointMixup: Augmentation for Point Clouds

Yunlu Chen, Vincent Tao Hu+5 more|arXiv (Cornell University)|Aug 14, 2020

3D Shape Modeling and Analysis参考文献 3被引用数 4

ひとこと要約

本稿では、点群における点の順序に依存しない線形補間を可能にする、地球移動距離（EMD）を最小化する点の対応付けを用いた、点群向けの新規データ拡張手法PointMixupを提案する。EMD距離空間における最短経路問題として補間を定式化することにより、PointMixupは効果的なミックスアップおよびマニフォールドミックスアップ正則化を可能にし、特にデータ量が少ない状況やノイズが多い条件下でも、点群分類における汎化性能とロバスト性を顕著に向上させる。

ABSTRACT

This paper introduces data augmentation for point clouds by interpolation between examples. Data augmentation by interpolation has shown to be a simple and effective approach in the image domain. Such a mixup is however not directly transferable to point clouds, as we do not have a one-to-one correspondence between the points of two different objects. In this paper, we define data augmentation between point clouds as a shortest path linear interpolation. To that end, we introduce PointMixup, an interpolation method that generates new examples through an optimal assignment of the path function between two point clouds. We prove that our PointMixup finds the shortest path between two point clouds and that the interpolation is assignment invariant and linear. With the definition of interpolation, PointMixup allows to introduce strong interpolation-based regularizers such as mixup and manifold mixup to the point cloud domain. Experimentally, we show the potential of PointMixup for point cloud classification, especially when examples are scarce, as well as increased robustness to noise and geometric transformations to points. The code for PointMixup and the experimental details are publicly available.

研究の動機と目的

• 点群にミックスアップ風のデータ拡張を適用する課題に取り組むこと、これは点の間に対応関係がないためである。
• 意味のある補間を実現するため、順序に依存しない点群間の線形補間手法を開発すること。
• 線形かつ割り当てに依存しない補間を保証することで、点群分野におけるミックスアップやマニフォールドミックスアップといった強力な正則化手法の利用を可能にすること。
• 特にデータが少ない状況やノイズが多い状況において、点群分類の汎化性能とロバスト性を向上させること。
• PointNet や PointNet++ などのさまざまな点群アーキテクチャと互換性がある、モデルに依存しない拡張手法を設計すること。

提案手法

• 点群の補間を、対応する点間の移動コストを最小化するように、地球移動距離（EMD）距離空間における最短経路問題として定式化する。
• PointMixupを提案する。これは、2つの点群間の全移動距離を最小化する双方向対応（最適割り当て）を求める最適割り当て（OA）補間戦略である。
• PointMixupがEMD空間内で線形補間を実現し、補間比に関わらず点の再順序や割り当ての変更に対して不変であることを証明する。
• 最適割り当てを用いて、混合比λに従って2つの元の点群から点を組み合わせて混合点群を生成する。ラベルについても線形に補間する。
• 得られた混合例を用いて、モデルをミックスアップやマニフォールドミックスアップ正則化手法で訓練することで、アーキテクチャの変更なしに汎化性能を向上させる。
• PointSampling（PS）のような代替補間戦略とは異なり、PointNetのような密度に依存しないモデルでは、特徴表現が一貫しないため失敗することを実証する。

実験結果

リサーチクエスチョン

• RQ1 1対1の対応関係が存在しない点群データに、補間に基づくデータ拡張を効果的に拡張できるか？
• RQ2 2つの点群間の意味的で安定したデータ拡張を保証する最短経路補間をどのように定義できるか？
• RQ3 提案されたPointMixup手法が、さまざまな補間比において線形性と割り当て不変性を保っているか？これにより、効果的なミックスアップ正則化が可能か？
• RQ4 PointMixupは、データが少ない状況やノイズが多い状況において、モデルの汎化性能とロバスト性をどのように向上させるか？
• RQ5 PointMixupは、アーキテクチャの変更なしに多様な点群ネットワークと併用可能か？また、既存の拡張ベースラインと比較してどうなるか？

主な発見

• PointNetを用いたModelNet40では、ベースライン比で0.7%の精度向上を達成し、標準的な分類タスクにおける汎化性能の向上を示した。
• PointNet++を用いた場合、PointMixupは90.8%の精度を達成し、ベースライン（89.2%）および他の補間手法（Point Sampling：88.7%）を上回った。
• PointMixupは幾何変換やノイズに対してロバストであり、複数のノイズレベルやデータ摂動に対して一貫した性能向上を示した。
• 少データ学習および半教師あり学習の設定でも有効であり、ラベル付きデータが限られた状況で顕著な正則化効果を示した。
• PointMixupはモデルに依存せず、PointNet や PointNet++ などのさまざまなアーキテクチャと互換性があり、密度に敏感な代替手法（例：Point Sampling）を上回る性能を発揮した。
• 理論的分析により、PointMixupがEMD空間における最短経路を形成し、線形補間の性質を保持することが確認された。これにより、正則化手法としての有効性が裏付けられた。