[論文レビュー] Iterative Transformer Network for 3D Point Cloud

Wentao Yuan, David Held+2 more|arXiv (Cornell University)|Nov 27, 2018

3D Shape Modeling and Analysis参考文献 32被引用数 38

ひとこと要約

本論文では、部分的で非整合的な点群を標準化するため、反復的に剛体変換を予測する新規な3次元点群変換器、反復的変換ネットワーク（IT-Net）を提案する。段階的に姿勢推定を改善し、スケーリングやねじれを含まない剛体（回転・並進のみ）変換を強制することで、特に遮蔽や任意の向きを伴う現実世界の困難なデータにおいて、T-Netなどのベースライン変換器と比較して、形状分類およびパーツセグメンテーションの性能が顕著に向上する。

ABSTRACT

3D point cloud is an efficient and flexible representation of 3D structures. Recently, neural networks operating on point clouds have shown superior performance on 3D understanding tasks such as shape classification and part segmentation. However, performance on such tasks is evaluated on complete shapes aligned in a canonical frame, while real world 3D data are partial and unaligned. A key challenge in learning from partial, unaligned point cloud data is to learn features that are invariant or equivariant with respect to geometric transformations. To address this challenge, we propose the Iterative Transformer Network (IT-Net), a network module that canonicalizes the pose of a partial object with a series of 3D rigid transformations predicted in an iterative fashion. We demonstrate the efficacy of IT-Net as an anytime pose estimator from partial point clouds without using complete object models. Further, we show that IT-Net achieves superior performance over alternative 3D transformer networks on various tasks, such as partial shape classification and object part segmentation.

研究の動機と目的

• 現実世界のシナリオで一般的な部分的で非整合的な3次元点群からの学習の課題に対処すること。
• 幾何的不変性または等長性を剛体変換の下で達成するニューラルネットワークモジュールを設計し、3次元理解タスクの性能を向上させること。
• 反復的に変換推定値を改善することで、いつでも予測を提供できる姿勢推定システムを設計すること。
• 不完全で非整合的な入力に対して、T-Netなどの既存の変換器ベースの手法を上回る性能を発揮すること。
• 3次元学習タスク用に、合成および現実世界の部分的で非整合的な点群から構築された新しいベンチマークデータセットを提供すること。

提案手法

• IT-Netは、入力点群を標準姿勢に段階的に整列させる小さな剛体変換（回転および並進）のシーケンスを予測する反復的リファインメント方式を用いる。
• 各反復で、変換器ベースのモジュールによって予測された3次元剛体変換が適用され、スケーリングやねじれが導入されないよう保証され、オブジェクトの形状が保存される。
• 変換出力に明示的な教師信号を用いずに、分類またはセグメンテーションヘッドとともにエンドツーエンドで訓練される。
• 反復的設計により、計算リソースが制限されている場合でも、途中で推論を停止できる「いつでも予測」が可能となり、段階的に精度の高い姿勢推定が得られる。
• PointNet や DGCNN などの既存アーキテクチャに統合可能なプラグインモジュールとして実装され、幾何的変化に対する耐性が向上する。
• 仮想スキャンによりCADモデル（ModelNet、ShapeNet）と実スキャン（ScanNet）から構築された新規データセットが作成され、任意の回転、並進、現実的な自己遮蔽を含む。

実験結果

リサーチクエスチョン

• RQ1 剛体変換の反復的リファインメントは、部分的で非整合的な入力における3次元点群理解を向上させるか？
• RQ2 アフィン変換ではなく剛体変換を強制することで、分類やセグメンテーションなどの下流タスクにおける性能と安定性が向上するか？
• RQ3 IT-Netは、時間制約下でも段階的に精度を高める予測を提供できる「いつでも予測」姿勢推定器として機能するか？
• RQ4 現実世界および合成の部分的点群において、IT-NetはT-Netや他の変換器ベースの手法と比較して、どの程度の耐性と正確性を示すか？
• RQ5 IT-Netが既存の分類およびセグメンテーションネットワークに統合された場合、性能はどの程度向上するか？

主な発見

• 2反復のIT-Netは、ShapeNet Partデータセットにおけるパーツセグメンテーションで平均mIoU 80.4%を達成し、T-Net（74.6%）およびIT-Net-1（77.9%）を上回った。
• 形状分類において、IT-Net-2はShapeNetデータセットで79.1%の正確性を達成し、T-Net（77.1%）およびIT-Net-1（78.2%）を上回った。
• IT-Netの性能向上は、訓練データが少ないレアカテゴリにおいて顕著であり、データ不足下での一般化性能の向上を示している。
• T-Netは反復的リファインメントを適用した場合、反復間のスケール差異のため収束しなかったが、IT-Netは安定した訓練と性能を維持した。
• 定性的な結果では、IT-Netが異なるカテゴリや姿勢の入力に対し、正しく整列させ、分布シフトを低減し、特徴学習を改善していることが示された。
• IT-Netの反復的性質により、完全収束する前でも中間出力が利用可能な姿勢推定を提供でき、リアルタイム応用に有用である。