[論文レビュー] Torch-Points3D: A Modular Multi-Task Frameworkfor Reproducible Deep Learning on 3D Point Clouds

Thomas Chaton, Nicolas Chaulet+2 more|arXiv (Cornell University)|Oct 9, 2020

3D Shape Modeling and Analysis被引用数 6

ひとこと要約

Torch-Points3D は、複数のタスクおよびデータセット across でトレーニング、評価、推論を標準化する、モジュラーで再現可能な PyTorch ベースのフレームワークです。統一されたプロトコルを通じて公平なベンチマークを可能にし、登録およびセグメンテーションで最先端のパフォーマンスを達成するとともに、テスト時投票と CPU による高速化された前処理により推論精度を向上させます。

ABSTRACT

We introduce Torch-Points3D, an open-source framework designed to facilitate the use of deep networks on3D data. Its modular design, efficient implementation, and user-friendly interfaces make it a relevant tool for research and productization alike. Beyond multiple quality-of-life features, our goal is to standardize a higher level of transparency and reproducibility in 3D deep learning research, and to lower its barrier to entry. In this paper, we present the design principles of Torch-Points3D, as well as extensive benchmarks of multiple state-of-the-art algorithms and inference schemes across several datasets and tasks. The modularity of Torch-Points3D allows us to design fair and rigorous experimental protocols in which all methods are evaluated in the same conditions. The Torch-Points3D repository :https://github.com/nicolas-chaulet/torch-points3d

研究の動機と目的

• 実験プロトコルと実装手法の標準化により、3次元ディープラーニング研究における技術的負債を低減し、再現性を向上させること。
• 複数の 3次元データセット、モデル、タスクを即時サポートすることで、研究者および実務家が研究に参画する障壁を低減すること。
• 統一された設定と評価システムを通じて、多様なデータセットとタスク across で最先端モデルの公平かつ比較可能な評価を可能にすること。
• 半径探索などの計算負荷の高い処理を CPU にオフロードすることで、トレーニングと推論を高速化すること。
• 将来のハイレベル API を通じて、トランスファー学習および自己教師あり手法をサポートすること。

提案手法

• フレームワークは、Hydra を用いた統一されたモデルおよびハイパーパramータ管理を実現するモジュラーで設定駆動型のアーキテクチャを採用しています。
• トップパフォーマンスを発揮するネットワーク（例：KPConv、Minkowski Engine、RS-CNN）の再実装を統合し、バックボーンのプラグアンドプレイ交換を可能にしています。
• S3DIS、ScanNet、3DMatch、KITTI などのデータセット across で、データロード、前処理、増強、評価指標を標準化しています。
• テスト時推論はアンサンブル投票（複数回のフォワードパスの予測を平均化）により強化され、セグメンテーション精度が向上します。
• CPU による前処理により、半径探索とサブサンプリングを GPU からオフロードし、トレーニングスループットで最大 8 倍の高速化を達成しました。
• 登録パイプラインは、Minkowski Engine バックボーンと TEASER や RANSAC を組み合わせ、頑健な変換推定を実現しています。

実験結果

リサーチクエスチョン

• RQ1 モジュラーなフレームワークは、3次元点群モデルベンチマークにおける再現性と公平性をどのように向上させることができるか？
• RQ2 テスト時投票は、異なるバックボーンネットワーク across でセグメンテーションの mIoU をどの程度向上させるか？
• RQ3 CPU による前処理は、大規模な 3次元点群でのトレーニングを顕著に高速化できるか？
• RQ4 最新のバックボーンと頑健な推定器を統合した統一された登録パイプラインで達成できるパフォーマンスは何か？
• RQ5 Torch-Points3D は、多様な 3次元タスクとデータセット across でモデルの効率的比較と選定をどのように可能にするか？

主な発見

• テスト時投票により、すべてのモデルで mIoU が 1–3 ポints 向上し、Minkowski Engine は最も大きな相対的向上を示した（S3DIS で 65.9% から 69.1% に向上）。
• KPConv バックボーンは、S3DIS 6-fold で投票を適用した後、67.2% の mIoU を達成し、PointNet++（投票後 59.0%）を上回りました。
• CPU による半径探索により、S3DIS でのトレーニング速度が 199.9 kpts/s に向上（GPU 時は 38.6 kpts/s）、8 倍の高速化を達成しました。
• 登録パイプラインは、KITTI Odometry で 99.8% の成功率、3DMatch で 94.3% の成功率を達成し、F一个 FGF + RANSAC を用いて、先行研究の最先端を同等または上回りました。
• フレームワークにより、5 つのタスクと 7 つのデータセット across で一貫性があり、公平なベンチマークが可能になり、すべてのモデルが同一の条件下で評価されました。
• モジュラー設計により、新しいモデル、データセット、推論方式の統合が最小限のコード変更でスムーズに行えるようになりました。