[論文レビュー] PointAugment: an Auto-Augmentation Framework for Point Cloud Classification

Ruihui Li, Xianzhi Li+2 more|arXiv (Cornell University)|Feb 25, 2020

3D Shape Modeling and Analysis参考文献 53被引用数 18

ひとこと要約

PointAugment は、敵対的学習を用いてオートオーギュメンテーションと分類器を同時に最適化する、エンドツーエンドでサンプルに適応した自動増幅フレームワークであり、3D点群分類に特化している。形状ごとの変換と点ごとのずれを個々のサンプルに合わせて学習し、分類器のフィードバックに応じて動的に増幅を適応させるため、ModelNet40 および SHREC16 において複数のネットワークで分類精度を顕著に向上させる。

ABSTRACT

We present PointAugment, a new auto-augmentation framework that automatically optimizes and augments point cloud samples to enrich the data diversity when we train a classification network. Different from existing auto-augmentation methods for 2D images, PointAugment is sample-aware and takes an adversarial learning strategy to jointly optimize an augmentor network and a classifier network, such that the augmentor can learn to produce augmented samples that best fit the classifier. Moreover, we formulate a learnable point augmentation function with a shape-wise transformation and a point-wise displacement, and carefully design loss functions to adopt the augmented samples based on the learning progress of the classifier. Extensive experiments also confirm PointAugment's effectiveness and robustness to improve the performance of various networks on shape classification and retrieval.

研究の動機と目的

• 3次元点群データセットの多様性の不足とスケールの小ささが、ディープニューラルネットワークの汎化性能を制限する問題に対処する。
• すべてのサンプルに同じ固定で非適応的な変換を適用する従来のデータ増幅手法の性能が不十分である問題を克服する。
• データ増幅と分類学習を同時に最適化するエンドツーエンドのフレームワークを開発し、より高いロバスト性と精度を実現する。
• 訓練の各段階で分類器のパフォーマンスを最大化するように、個々のサンプルに特化した適応的増幅を生成できるように増幅器を可能にする。

提案手法

• フレームワークは、エンドツーエンドで増幅器ネットワークと分類器ネットワークを同時に学習するための敵対的学習戦略を採用する。
• 増幅器は、共有されたMLPを用いて各点の特徴から、形状ごとの変換行列と点ごとのずれベクトルを学習する。
• 学習可能な増幅関数が、グローバルな変換とローカルなずれを組み合わせ、多様で現実的な点群の変種を生成する。
• 動的損失関数が分類器と増幅器の目的をバランスさせ、ハイパーパrameter λ によって分類器の学習進行に応じて増幅の強さを調整する。
• 増幅器は分類器の損失からのフィードバックを用いて、その増幅方針を改善し、生成されたサンプルが分類器を適切に挑戦させるが、過学習を避けるようにする。
• この手法はモジュラーであり、PointNet、PointNet++、DGCNN、RSCNN などのさまざまなバックボーンネットワークと互換性がある。

実験結果

リサーチクエスチョン

• RQ1 増幅と分類の最適化を同時に実行する自動増幅フレームワークは、固定のデータ増幅ベースラインを上回る3次元点群分類性能を達成できるか？
• RQ2 個々の点群の複雑さに応じて増幅をカスタマイズするサンプルに適応した増幅は、モデルの汎化性能と精度にどのような影響を与えるか？
• RQ3 増幅の強さと分類器の学習進行の最適なトレードオフは何か？ そして、訓練中にそれを動的に制御する方法は？
• RQ4 提案されたフレームワークは、多様なネットワークアーキテクチャとベンチマークデータセットでどのように性能を発揮するか？

主な発見

• PointAugment は ModelNet40 において4つの最先端ネットワークで一貫した精度向上を達成し、従来のデータ増幅手法と比較して 0.8% から 1.4% の向上を示した。
• ModelNet40 において、PointNet++ は PointAugment を用いることで 92.9% の精度を達成したのに対し、従来手法では 92.1% にとどまり、顕著な性能向上が確認された。
• フレームワークは SHREC16 のリtrievalベンチマークでも性能向上を示し、分類を超えた有効性を裏付けた。
• アブレーションスタディの結果、EdgeConv や DenseConv よりも単純なMLPを特徴抽出に用いることで、過学習のリスクが低減され、より良い性能が得られた。
• 最適なハイパーパrameter λ = 1.0 が、分類器と増幅器の目的をバランスさせることが判明した。λ が小さすぎたり大きすぎたりすると性能が低下した。
• フレームワークはさまざまな特徴抽出ユニットに対してロバストであり、優れた汎化性能を維持しており、モジュラーかつ適応可能な設計であることが示された。