[論文レビュー] A Closer Look at Local Aggregation Operators in Point Cloud Analysis

Ze Liu, Hu Han+3 more|arXiv (Cornell University)|Jul 2, 2020

3D Shape Modeling and Analysis参考文献 36被引用数 20

ひとこと要約

本稿では、ポイントクラウド処理のための軽量な局所アグリゲーション演算子であるポジションプール（PosPool）を提案する。この手法は、要素ごとの乗算と平均プーリングを経て、ポイント特徴量と3次元相対座標を統合する。ModelNet40、S3DIS、PartNetベンチマークにおいて最先端の性能を達成し、複雑な学習可能な演算子を上回る。特にPartNetでは7.4 mIoUの優位性を示す。

ABSTRACT

Recent advances of network architecture for point cloud processing are mainly driven by new designs of local aggregation operators. However, the impact of these operators to network performance is not carefully investigated due to different overall network architecture and implementation details in each solution. Meanwhile, most of operators are only applied in shallow architectures. In this paper, we revisit the representative local aggregation operators and study their performance using the same deep residual architecture. Our investigation reveals that despite the different designs of these operators, all of these operators make surprisingly similar contributions to the network performance under the same network input and feature numbers and result in the state-of-the-art accuracy on standard benchmarks. This finding stimulate us to rethink the necessity of sophisticated design of local aggregation operator for point cloud processing. To this end, we propose a simple local aggregation operator without learnable weights, named Position Pooling (PosPool), which performs similarly or slightly better than existing sophisticated operators. In particular, a simple deep residual network with PosPool layers achieves outstanding performance on all benchmarks, which outperforms the previous state-of-the methods on the challenging PartNet datasets by a large margin (7.4 mIoU). The code is publicly available at https://github.com/zeliu98/CloserLook3D

研究の動機と目的

• アーキテクチャ的および実装上のばらつきを排除することで、異なる局所アグリゲーション演算子がポイントクラウドネットワーク性能に与える影響を公平に評価すること。
• 深層ネットワークにおける高い性能を達成するために、洗練された学習可能なアグリゲーション演算子が真に必要かどうかを調査すること。
• 最小限の非パrametricな演算子が、既存の複雑な設計を同等または上回る性能を達成できるかどうかを検討すること。
• 同一の深層残差アーキテクチャを用いた条件下で、局所アグリゲーション演算子の公平な比較のための共通ベンチマークを確立すること。

提案手法

• 近隣ポイントの特徴量とその3次元相対座標の間で要素ごとの乗算を実行する、重みフリーの局所アグリゲーション演算子であるポジションプール（PosPool）を提案する。
• 得られた積に対して平均プーリングを適用し、周囲の情報を中心ポイントの1つの特徴ベクトルにアグリゲートする。
• すべての層で重みを共有し、アグリゲーションモジュールに学習可能なパrameterを一切持たない、PosPool層を用いた深層残差ネットワークをバックボーンとして採用する。
• ModelNet40、S3DIS、PartNetの3つのベンチマークにおいて、一貫したデータ分割、入力解像度、トレーニング/推論プロトコルを確保する統一された実験設定を採用する。
• 最終予測の直前における活性化マップを可視化し、異なる演算子間での特徴学習パターンを比較する。
• ネットワークの深さ、幅、ボトルネック比を変化させた場合の性能を評価することで、ロバストネスと適応性を検証する。

実験結果

リサーチクエスチョン

• RQ1 同一の深層残差アーキテクチャを用いて評価した場合、異なる局所アグリゲーション演算子はネットワーク性能に異なる寄与を示すか？
• RQ2 PosPoolのような単純で非パラメトリックな演算子は、複雑な学習可能な演算子と同等またはそれ以上の性能を達成できるか？
• RQ3 モデル容量（深さ、幅、ボトルネック比）の変化に伴い、既存の演算子の性能はどのように変化するか？
• RQ4 異なる演算子は、同じ入力ポイントクラウドから類似したか、あるいは異なる表現を学習するか？

主な発見

• 設計や動機が異なるにもかかわらず、適切にチューニングされたすべての評価対象の局所アグリゲーション演算子が、ModelNet40、S3DIS、PartNetで最先端の性能を達成した。
• ポジションプール（PosPool）は、挑戦的なPartNetデータセットで最高の性能を達成し、バリデーションセットにおいて従来の最先端手法を7.4 mIoU上回った。
• PosPoolはモデル容量の変化に対して優れた安定性を示したが、より複雑な演算子（例：'AdaptWeight'）は、モデルの深さや幅を減らした際に顕著な精度低下を示した。
• 活性化マップの可視化により、異なる演算子が入力ポイントクラウドの類似した高エネルギー領域を学習していることが判明し、アーキテクチャの違いにもかかわらず特徴表現の収束が見られた。
• PosPoolには学習可能な重みが存在しないため、メモリおよび計算コストが極めて小さく、時間計算量はO(ndK)、空間計算量はO(0)である。