[論文レビュー] A survey of Object Classification and Detection based on 2D/3D data

Xiaoke Shen|arXiv (Cornell University)|May 29, 2019

Advanced Neural Network Applications参考文献 69被引用数 19

ひとこと要約

本サーベイは、2次元と3次元オブジェクト分類および検出手法の包括的概要を提供しており、2次元画像ベースのシステムから点群、ボクセル、マルチビュー表現を用いた3次元手法への移行を強調している。3次元データの課題である疎らさ、高い計算コスト、限られたラベル付きデータセットを挙げ、Frustum PointNetのようなフレームワークを評価している。これらは2次元検出と3次元点群処理を組み合わせ、KITTIベンチマークでカー物体に対して70.39の3次元APを達成し、最先端の性能を発揮している。

ABSTRACT

Recently, by using deep neural network based algorithms, object classification, detection and semantic segmentation solutions are significantly improved. However, one challenge for 2D image-based systems is that they cannot provide accurate 3D location information. This is critical for location sensitive applications such as autonomous driving and robot navigation. On the other hand, 3D methods, such as RGB-D and RGB-LiDAR based systems, can provide solutions that significantly improve the RGB only approaches. That is why this is an interesting research area for both industry and academia. Compared with 2D image-based systems, 3D-based systems are more complicated due to the following five reasons: 1) Data representation itself is more complicated. 3D images can be represented by point clouds, meshes, volumes. 2D images have pixel grid representations. 2) The computation and memory resource requirement is higher as an extra dimension is added. 3) Different distribution of the objects and difference in scene areas between indoor and outdoor make one unified framework hard to achieve. 4) 3D data, especially for the outdoor scenario, is sparse compared with the dense 2D images which makes the detection task more challenging. Finally, large size labelled datasets, which are extremely important for supervised based algorithms, are still under construction compared with well-built 2D datasets such as ImageNet. Based on challenges listed above, the described systems are organized by application scenarios, data representation methods and main tasks addressed. At the same time, critical 2D based systems which greatly influence the 3D ones are also introduced to show the connection between them.

研究の動機と目的

• コンピュータビジョンにおける2次元および3次元オブジェクト分類および検出技術の体系的レビューを提供すること。
• 3次元ベースのシステムに特有の課題、特にデータの疎らさ、計算複雑性、大規模ラベル付きデータセットの不足を分析すること。
• 点群、ボクセル、マルチビュー画像、深度投影などの異なる3次元データ表現の利点と制限を比較すること。
• 2次元検出を3次元オブジェクト局所化に活用するハイブリッド2次元-3次元フレームワーク、例えばFrustum PointNetを検討すること。
• KITTIのような標準ベンチマーク上でリーディングモデルの性能を評価し、3次元平均精度（AP）指標に注目すること。

提案手法

• 本サーベイは、応用シナリオ、データ表現（例：点群、ボクセル、マルチビュー画像）、およびコアタスク（分類、検出、セグメンテーション）別に既存手法を整理している。
• 基礎的な2次元手法、例えばAlexNet、VGG、ResNetをレビューし、これらのモデルが転移学習と特徴抽出を通じて現代の3次元手法の基盤を築いたことを示している。
• 3次元検出に関しては、Frustum PointNetのようなハイブリッドフレームワークを分析している。この手法はまず2次元CNNを用いてRGB画像内のオブジェクトを検出し、その後2次元領域を3次元のフリスツムに変換する。
• 各3次元フリスツム内では、PointNetに基づくネットワークが点単位の二値分類を実行し、オブジェクトの点をセグメンテーションした後、重心の整合化と3次元バウンディングボックス回帰を実施する。
• この手法は2次元オブジェクト検出の信頼度と幾何学的情報を活用し、特に疎らな屋外シーンにおいて3次元検出精度を向上させる。
• 性能評価は、KITTIのようなベンチマークで標準的な指標（3次元平均精度（AP））を用い、オブジェクトカテゴリ（カー、歩行者、自軌道車）ごとに結果を報告している。

実験結果

リサーチクエスチョン

• RQ1 AlexNet や VGG といった2次元ベースのディープラーニングモデルは、3次元オブジェクト検出システムの開発にどのように寄与しているか？
• RQ2 2次元と比較して、3次元オブジェクト検出における主な課題は何か。特にデータ表現、疎らさ、計算コストの観点から。
• RQ3 Frustum PointNet のようなハイブリッド2次元-3次元フレームワークは、2次元検出の信頼度と3次元幾何学的情報をどのように活用することで3次元検出性能を向上させているか？
• RQ4 分類および検出タスクにおいて、点群、ボクセル、マルチビュー画像、深度投影の各3次元データ表現の相対的な強みと弱みは何か？
• RQ5 現在の3次元検出モデルは、2次元モデルと同等の性能を達成できており、KITTIのようなベンチマークで顕著な性能ギャップが生じているか？

主な発見

• Frustum PointNet は、KITTIバリデーションセットにおいてカー物体で3次元平均精度（AP）70.39、歩行者で44.89、自軌道車で56.77を達成し、実世界の自動運転シナリオにおいて優れた性能を示している。
• 2次元ベースのモデル、例えばAlexNet や VGG は、転移学習と特徴抽出を可能にすることで、現代の3次元検出の基盤を築き、3次元タスクの性能を著しく向上させた。
• 点群ベースの手法はボクセルやマルチビュー表現よりも3次元幾何をより良く保持するが、不規則で疎なデータ構造に対応するための特殊なネットワーク（例：PointNet）を必要とする。
• ボクセルベースの3次元CNNは、計算複雑性（O(n³)）が高く、解像度が低いため、細かな形状特徴を捉える能力に制限がある。
• マルチビューおよび深度投影手法は成熟した2次元CNNの利点を活かせるが、幾何的忠実性を損なう上に、隠蔽や完全でない視点の可用性の制限を受ける。
• 大規模かつ完全にアノテートされた3次元データセットの不足は、2次元タスクで整備されたImageNetと比較して、依然として主要な障壁である。