[論文レビュー] Self-Prediction for Joint Instance and Semantic Segmentation of Point Clouds

Jinxian Liu, Minghui Yu+2 more|arXiv (Cornell University)|Jul 27, 2020

3D Shape Modeling and Analysis参考文献 46被引用数 6

ひとこと要約

本稿では、1つの点群サブセットのラベルを別のサブセットのラベルを用いてラベル伝播により予測するように、バックボーンネットワークを同時に学習させることで、3次元点群のインスタンスおよびセマンティックセグメンテーションを向上させる、自己教師型学習スキームであるSelf-Predictionを提案する。インスタンスおよびセマンティック埋め込みを統合し、双方向の自己予測を強制することで、PointNet++をバックボーンとして用いるだけでS3DISで最先端のインスタンスセグメンテーション性能を達成し、ベースラインモデルと比べ顕著な向上を示す。

ABSTRACT

We develop a novel learning scheme named Self-Prediction for 3D instance and semantic segmentation of point clouds. Distinct from most existing methods that focus on designing convolutional operators, our method designs a new learning scheme to enhance point relation exploring for better segmentation. More specifically, we divide a point cloud sample into two subsets and construct a complete graph based on their representations. Then we use label propagation algorithm to predict labels of one subset when given labels of the other subset. By training with this Self-Prediction task, the backbone network is constrained to fully explore relational context/geometric/shape information and learn more discriminative features for segmentation. Moreover, a general associated framework equipped with our Self-Prediction scheme is designed for enhancing instance and semantic segmentation simultaneously, where instance and semantic representations are combined to perform Self-Prediction. Through this way, instance and semantic segmentation are collaborated and mutually reinforced. Significant performance improvements on instance and semantic segmentation compared with baseline are achieved on S3DIS and ShapeNet. Our method achieves state-of-the-art instance segmentation results on S3DIS and comparable semantic segmentation results compared with state-of-the-arts on S3DIS and ShapeNet when we only take PointNet++ as the backbone network.

研究の動機と目的

• 既存の3次元セグメンテーション手法が、点同士の関係を効果的に学習するための十分な監視を欠いているという制限に対処すること。
• 関係性の文脈モデリングを強制する自己教師型学習スキームを導入することで、点群ネットワークにおける特徴学習を向上させること。
• 相互監視を活用した統一フレームワークにより、インスタンスおよびセマンティックセグメンテーションを同時に向上させること。
• 推論コストを増加させない汎用的でパラメータフリーのトレーニングスキームを設計すること。

提案手法

• 点群を2つの互いに素なサブセットに分割し、インスタンスおよびセマンティック埋め込みを統合した完全グラフを構築して、それらの間でラベル伝播を実行する。
• Self-Predictionは、一方のサブセットのマルチラベル（インスタンスおよびセマンティック）を、もう一方のサブセットのラベルを用いて予測することで訓練され、トレーニング中に双方向伝播が強制される。
• インスタンスおよびセマンティック埋め込みを連結し、グラフのノード特徴として用いることで、関係性制約を通じて判別可能な表現を学習可能にする。
• 3つのヘッド（インスタンス、セマンティック、Self-Prediction）を用いてエンドツーエンドで訓練するが、後者は特徴品質の向上を目的とした正則化子として機能する。
• 推論時、Self-Predictionヘッドは削除されるため、追加の計算コストやパラメータコストが生じない。
• 本手法は、PointNet、PointNet++、DGCNNなど、さまざまなバックボーンと互換性があり、汎用的である。

実験結果

リサーチクエスチョン

• RQ1 点群サブセット間のラベル伝播を活用する自己教師型学習スキームが、3次元点群セグメンテーションを改善できるか？
• RQ2 インスタンスとセマンティックセグメンテーションの共同監視は、特徴学習およびセグメンテーション性能をどのように向上させるか？
• RQ3 双方向自己予測は、単方向またはランダムなグループ化に比べて、関係性特徴学習においてどの程度優れているか？
• RQ4 伝播比、グループ数、損失重みといった主要ハイパーパrameterに対して、本手法はどの程度感度を示すか？

主な発見

• 提案されたSelf-Prediction手法は、PointNet++をバックボーンとして用いるだけで、S3DISデータセットで最先端のインスタンスセグメンテーション性能を達成し、平均インスタンスmAPが51.1%、mRecが43.6%を記録した。
• ShapeNetデータセットでは、DGCNNをバックボーンとして用いた場合、パーツインスタンスセグメンテーションで86.2%のmIoUを達成し、ベースラインおよびASISを上回った。
• アブレーションスタディの結果、双方向自己予測は単方向またはランダムなグループ化よりも優れた性能を示し、mIoUが51.0%から52.4%に向上した。
• 本手法はハイパーパrameterの変動に対して頑健である：β（0.4–1.4）、G（グループ数）、α（伝播比 > 0.5）の広い範囲で性能が安定している。
• フレームワークは、S3DISおよびShapeNetの両方で、インスタンスおよびセマンティックセグメンテーションを同時に向上させ、ベースラインモデルと比べ顕著な向上を示した。
• Self-Predictionヘッドは、デプロイ時に削除されるため、推論コストを追加しない。このため、実世界の応用において実用的である。