[論文レビュー] Compositional Prototype Network with Multi-view Comparision for Few-Shot Point Cloud Semantic Segmentation

Xiaoyu Chen, Chi Zhang+2 more|arXiv (Cornell University)|Dec 28, 2020

3D Shape Modeling and Analysis参考文献 20被引用数 14

ひとこと要約

本稿では、局所的領域表現とマルチビュー埋め込みを活用して少サンプル一般化を向上させる、マルチビュー比較（MVC）を備えた構成的プロトタイプネットワークを、少サンプル3次元点群セマンティックセグメンテーションのためのものとして提案する。本手法は、新たに導入されたScanNet-$6^i$ベンチマークにおいて、1ショット設定でベースラインを最大3.7%のmIoU向上で上回り、完全教師あり設定におけるクラス不均衡の是正にも効果的である。

ABSTRACT

Point cloud segmentation is a fundamental visual understanding task in 3D vision. A fully supervised point cloud segmentation network often requires a large amount of data with point-wise annotations, which is expensive to obtain. In this work, we present the Compositional Prototype Network that can undertake point cloud segmentation with only a few labeled training data. Inspired by the few-shot learning literature in images, our network directly transfers label information from the limited training data to unlabeled test data for prediction. The network decomposes the representations of complex point cloud data into a set of local regional representations and utilizes them to calculate the compositional prototypes of a visual concept. Our network includes a key Multi-View Comparison Component that exploits the redundant views of the support set. To evaluate the proposed method, we create a new segmentation benchmark dataset, ScanNet-$6^i$, which is built upon ScanNet dataset. Extensive experiments show that our method outperforms baselines with a significant advantage. Moreover, when we use our network to handle the long-tail problem in a fully supervised point cloud segmentation dataset, it can also effectively boost the performance of the few-shot classes.

研究の動機と目的

• 点群ごとのアノテーションが高価であるため、完全教師あり3次元点群セマンティックセグメンテーションのデータ集約的性質に対処する。
• 構造的および領域的情報を失うため、画像ベースの少サンプル学習手法を点群に直接適用する際の制限を克服する。
• 局所的領域表現とマルチビューの冗長性を活用して、3次元セグメンテーションにおける少サンプル一般化を向上させる手法を開発する。
• 現実的なデータ不足とクラス不均衡の下で評価可能な、新しいベンチマークであるScanNet-$6^i$を構築する。
• 提案された少サンプルフレームワークが、完全教師あり学習におけるレアクラスの性能向上にも寄与することを実証する。

提案手法

• 構成的プロトタイプネットワークは、空間的および構造的情報を保持するために、複雑な点群データを局所的領域表現に分解する。
• マルチビュー比較（MVC）モジュールは、サポートセットの領域特徴から畳み込みカーネル重みを生成し、クエリポイントへの領域レベルのラベル転送を可能にする。
• MVCモジュールは、サポートセットの複数のビューを使用して、頑健で判別性の高いカーネル重みを生成し、一般化性能と効率性を向上させる。
• 本手法は、グラフ自己注意ユニット（GAU）を用いて構成的プロトタイプを精緻化し、内積または畳み込み演算を用いてクエリ特徴とプロトタイプ間の類似度を計算する。
• 6クラス/エピソードの設定で、クラス不均衡下での少サンプルセグメンテーション評価を想定して、ScanNetデータセットから新しいベンチマークであるScanNet-$6^i$を構築した。
• SparseConvNetの分類器を変更し、MVCを用いたプロトタイプベースのメトリクス学習を導入することで、本フレームワークを教師あり学習に拡張し、データ再重み付けやオーバーサンプリングを用いずに、稀なクラスの性能を向上させた。

実験結果

リサーチクエスチョン

• RQ1 グローバルプロトタイププーリングと比較して、局所的領域表現とマルチビュー比較が、3次元点群セグメンテーションにおける少サンプル一般化をどのように向上させるか？
• RQ2 標準的なメトリクス学習および関係ベースの手法と比較して、提案されたマルチビュー比較モジュールは、3次元セグメンテーションにおける効率性と正確性の面でどのように差をつけるか？
• RQ3 少サンプルフレームワークは、クラス不均衡な3次元セグメンテーションデータセットにおける、珍しいクラスの性能低下をどの程度軽減できるか？
• RQ4 本手法は、異なるショット設定（1ショット対5ショット）に一般化可能であり、データ不足下でも頑健性を維持できるか？
• RQ5 MVCベースのメトリクス学習フレームワークは、完全教師あり学習に効果的に転送可能であり、少サンプルクラスの性能向上に寄与できるか？

主な発見

• 提案されたCP + MVC手法は、1ショット設定のScanNet-$6^i$ベンチマークで43.4%のmIoUを達成し、ベースラインのGAP手法（41.6%）およびCP（41.9%）を大きく上回った。
• 5ショット設定では、ScanNet-$6^i$で45.1%のmIoUを達成し、次善のベースライン（44.3%）を0.8ポイント上回った。
• アブレーションスタディにより、MVCは内積および畳み込み類似度メトリクスを上回り、MACsが低く、特に複数のビューを組み合わせた場合に一般化性能が優れていることが確認された。
• 本手法は、完全教師あり学習における少サンプルクラスの性能を向上させた：提案されたメトリクスベースの手法は、少サンプルクラスで69.7%のmIoU（SparseConvNetの67.8%対比）を達成し、全体のmIoUは72.7%で、先行SOTAを上回った。
• 標準的な畳み込み類似度レイヤーと比較して、MVCモジュールは計算コストを低減しており、マルチビューでのカーネル生成によるオーバーヘッドは無視できるほど小さい。
• 可視化結果から、1つのサポートサンプルのみを用いても、モデルが背景から物体を正しくセグメンテーションしていることが示され、優れた少サンプル一般化性能を示した。