[論文レビュー] Image2Point: 3D Point-Cloud Understanding with Pretrained 2D ConvNets.

Chenfeng Xu, Shijia Yang+7 more|arXiv (Cornell University)|Jun 8, 2021

Advanced Neural Network Applications参考文献 75被引用数 13

ひとこと要約

この論文では、2D畳み込みニューラルネットワーク（ConvNet）の重みを3Dに拡張し、入力・出力層および正則化層を微調整することで、3D点群理解タスクへの知識移行を実現するImage2Pointという手法を提案する。本手法は、アーキテクチャの変更なしに、3D分類およびセグメンテーションタスクで競争力ある性能を達成し、多数のタスク特化型点群モデルを上回る性能を示した。

ABSTRACT

3D point-clouds and 2D images are different visual representations of the physical world. While human vision can understand both representations, computer vision models designed for 2D image and 3D point-cloud understanding are quite different. Our paper investigates the potential for transferability between these two representations by empirically investigating whether this approach works, what factors affect the transfer performance, and how to make it work even better. We discovered that we can indeed use the same neural net model architectures to understand both images and point-clouds. Moreover, we can transfer pretrained weights from image models to point-cloud models with minimal effort. Specifically, based on a 2D ConvNet pretrained on an image dataset, we can transfer the image model to a point-cloud model by extit{inflating} 2D convolutional filters to 3D then finetuning its input, output, and optionally normalization layers. The transferred model can achieve competitive performance on 3D point-cloud classification, indoor and driving scene segmentation, even beating a wide range of point-cloud models that adopt task-specific architectures and use a variety of tricks.

研究の動機と目的

• 事前学習された2D ConvNetが3D点群理解タスクに効果的に転送可能かどうかを調査すること。
• 2D画像と3D点群間の転移性能に最も影響を与える要因を特定すること。
• 2Dモデルを3D点群タスクに適応させる最小限の努力で実現可能な手法を開発すること。
• このような転移が、専用の3D点群モデルの性能を同等または上回ることを評価すること。

提案手法

• 事前学習済み2D ConvNetの2D畳み込みフィルタを、深さ方向に重みを複製することで3Dフィルタに拡張する。
• 3Dモデルの入力および出力層を微調整し、点群データの分布に適合させる。
• 任意でバッチ正則化層を微調整し、新しい入力モodalに適応させる。
• 2D画像と3D点群の両方で同じモデルアーキテクチャを用いることで、直接的な転送を可能にする。
• フィルタの拡張による初期化後、3D点群データセット上で3Dモデルをエンドツーエンドに訓練する。
• 一般化性能を向上させるために、標準的なデータ拡張および最適化手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み2D ConvNetは、3D点群理解タスクに効果的に転送可能か？
• RQ2 このようなクロスモダリティ転送の性能に最も顕著に影響を与える要因は何か？
• RQ3 最小限のアーキテクチャ変更で、競争力のある結果を得られるように、転送プロセスを最適化できるか？
• RQ4 転送されたモデルは、標準ベンチマーク上で既存の3D特化型モデルを上回る性能を示すか？

主な発見

• Image2Point手法は、事前学習済み2Dモデルの最小限の適応のみで、3D点群分類タスクで競争力ある性能を達成した。
• フィルタの拡張に加え、入力および出力層の微調整により、2Dから3D表現への効果的な転送が可能になった。
• 複雑なアーキテクチャやタスク特化型の設計テクニックを用いた多数の3D特化型モデルを、本手法のモデルは上回った。
• 本手法は、屋内およびドライブシーンセグメンテーションを含む、さまざまな3D理解タスクに良好に一般化した。
• 正則化層の微調整により性能がさらに向上したため、クロスモダリティ適応においてその重要性が示された。
• 2Dと3Dで共通のモデルアーキテクチャを用いることで、効果的な転送が可能であることが示された。これは、タスク特化型3D設計の必要性を疑問視するものである。