[論文レビュー] End-to-End 3D-PointCloud Semantic Segmentation for Autonomous Driving

Mohammed Abdou, Mahmoud Elkhateeb+2 more|arXiv (Cornell University)|Jun 26, 2019

3D Shape Modeling and Analysis参考文献 22被引用数 4

ひとこと要約

本稿では、自動運転における3次元点群セマンティックセグメンテーションのクラス不均衡問題に対処するため、重み付き自己増分的転移学習を提案する。非優勢クラスを最初に増分学習することで、クラス重み付き損失と組み合わせることで、歩行者や自転車などのレアクラスのセグメンテーションが著しく向上し、ベースラインのPointNet++と比較してKITTIベンチマークで全体の平均IoUが39.2%向上した。

ABSTRACT

3D semantic scene labeling is a fundamental task for Autonomous Driving. Recent work shows the capability of Deep Neural Networks in labeling 3D point sets provided by sensors like LiDAR, and Radar. Imbalanced distribution of classes in the dataset is one of the challenges that face 3D semantic scene labeling task. This leads to misclassifying for the non-dominant classes which suffer from two main problems: a) rare appearance in the dataset, and b) few sensor points reflected from one object of these classes. This paper proposes a Weighted Self-Incremental Transfer Learning as a generalized methodology that solves the imbalanced training dataset problems. It re-weights the components of the loss function computed from individual classes based on their frequencies in the training dataset, and applies Self-Incremental Transfer Learning by running the Neural Network model on non-dominant classes first, then dominant classes one-by-one are added. The experimental results introduce a new 3D point cloud semantic segmentation benchmark for KITTI dataset.

研究の動機と目的

• 3次元点群データセットにおけるクラス不均衡の課題に取り組むこと、特に自動運転応用を想定すること。
• 歩行者や自転車などのレアで細分化されたクラスを正確にセグメンテーションできない既存手法の限界を克服すること。
• モデルの一般化を向上させるとともに、増分学習中の壊滅的忘却を防ぐ、汎用的でエンドツーエンドのディーブラーニング手法を構築すること。
• 提案手法を用いてKITTIデータセットにおける3次元セマンティックセグメンテーションの新しいベンチマークを確立すること。

提案手法

• クラス頻度とデータセット内でのLiDAR反射点密度に基づき、代表されないクラスに高いペナルティを与える重み付き交差エントロピー損失関数を適用する。
• 非優勢で細分化されたクラス（例：歩行者、自転車）を最初に学習し、徐々に優勢クラス（例：車両、トラック）を追加する自己増分的転移学習戦略を実装する。
• 以前の段階で得られた事前学習済みモデルを、その後続の学習段階の初期化に使用することで、知識の保持を確保し、忘却を防ぐ。
• 2つの要因に基づいてクラス重みを計算する：(1) クラスごとのデータセットインスタンス数、(2) クラスごとのLiDAR反射点数。
• 外部の事前学習モデルに依存せずに、重み付き損失と段階的クラス追加手順を組み合わせてPointNet++バックボーンを訓練する。
• 全クラスの平均交差率（mIoU）を用いて性能を評価し、重み付き損失のみ、自己増分的学習のみ、および完全な手法のアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 重み付き損失関数のみで、スパarsなLiDAR点群の3次元セマンティックセグメンテーションにおけるクラス不均衡を効果的に緩和できるか？
• RQ2 自己増分的転移学習のみで、不均衡データセットにおける稀なクラスのセグメンテーション向上を達成するとともに、壊滅的忘却を防げるか？
• RQ3 重み付き損失と非優勢クラスに対する段階的学習を組み合わせることで、歩行者や自転車のような細分化されたクラスのmIoUを著しく向上できるか？
• RQ4 提案手法は、異なるクラスカテゴリに一般化可能であり、KITTIのような実世界の自動運転データセットにおいても安定性を維持できるか？

主な発見

• ベースラインのPointNet++モデルは、歩行者や自転車を分類できず、KITTIデータセットでこれらのクラスのmIoUがほぼゼロに近い値を示した。
• 重み付き損失関数のみを用いても、表現学習が不十分であるため、依然として稀なクラスが誤分類されるという不均衡問題は解消されない。
• 自己増分的転移学習のみを適用した場合、車両などの新しい優勢クラスを追加する際に、以前に学習したクラス（例：歩行者、自転車）の精度が低下する壊滅的忘却が発生した。
• 提案手法の重み付き自己増分的転移学習により、車両クラスでmIoUが6.71%向上、バンクラスで11.17%向上した。
• 歩行者と自転車クラスは、従来は分類不能であったが、提案手法ではそれぞれmIoUが15.33%および22.96%を達成した。
• 全体の平均IoUはベースライン比で39.2%向上し、本手法がクラス不均衡の処理に有効であり、安定的かつ一般化可能な3次元セマンティックセグメンテーションを実現できることを示した。