[論文レビュー] Deep Learning Advances on Different 3D Data Representations: A Survey.

Eman Ahmed, Alexandre Saint+6 more|arXiv (Cornell University)|Aug 4, 2018

3D Shape Modeling and Analysis参考文献 83被引用数 56

ひとこと要約

本サーベイは、ユークリッド形式と非ユークリッド形式に分類されるさまざまな3Dデータ表現におけるディープラーニングの応用を包括的に分析している。ディープラーニングアーキテクチャが各表現形式にどのように適合されているか、主な課題を特定し、セグメンテーション、認識、対応関係の推定といったタスクにおけるパフォーマンスのトレードオフを評価している。

ABSTRACT

3D data is a valuable asset the computer vision filed as it provides rich information about the full geometry of sensed objects and scenes. Recently, with the availability of both large 3D datasets and computational power, it is today possible to consider applying deep learning to learn specific tasks on 3D data such as segmentation, recognition and correspondence. Depending on the considered 3D data representation, different challenges may be foreseen in using existent deep learning architectures. In this work, we provide a comprehensive overview about various 3D data representations highlighting the difference between Euclidean and non-Euclidean ones. We also discuss how Deep Learning methods are applied on each representation, analyzing the challenges to overcome.

研究の動機と目的

• コンピュータビジョンで用いられる異なる3Dデータ表現を体系的にレビューし、比較すること。
• ユークリッド形式と非ユークリッド形式の3Dデータ構造にディープラーニングを適用する際に生じる課題を特定すること。
• セグメンテーション、認識、対応関係の推定といったタスクにおいて、既存のディープラーニングモデルがさまざまな3D表現形式にどのように適合されているかを分析すること。
• 異なる3Dデータフォーマット間でのディープラーニング手法のパフォーマンスの違いと制限を強調すること。

提案手法

• 3Dデータ表現をユークリッド形式（例：ボクセルグリッド、ポイントクラウド）と非ユークリッド形式（例：メッシュ、グラフ）に分類すること。
• 各3D表現形式に特化した既存のディープラーニングアーキテクチャを調査すること。
• 3Dデータに内在する幾何的・トポロジカルな違いに対応するためのアーキテクチャの適合化を分析すること。
• さまざまな3Dデータフォーマットにおける畳み込み、プーリング、アテンション機構の有効性を評価すること。
• 表現形式ごとに訓練効率、インダクティブバイアス、汎化性能を比較すること。
• データの疎らさ、不規則性、構造的複雑さに関する現在のアプローチのギャップを同定すること。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド形式と非ユークリッド形式の3Dデータ表現は、ディープラーニングにどの程度適しているか。
• RQ2 不規則的または疎な3Dデータ構造にディープラーニングモデルを適応させる際に生じる主な課題は何か。
• RQ3 異なる3D表現形式が、セグメンテーション、認識、対応関係の推定タスクにおけるディープラーニングモデルのパフォーマンスにどのように影響を与えるか。
• RQ4 メッシュやポイントクラウドのような非ユークリッド形式の3Dデータを効果的に処理するためには、どのようなアーキテクチャの変更が必要か。
• RQ5 3Dデータフォーマット間で、表現の忠実度、計算コスト、モデルの汎化性能のトレードオフはどのようなものか。

主な発見

• ボクセルグリッドのような構造的で規則的な3D表現では、ディープラーニングモデルが優れたパフォーマンスを示す。
• ポイントクラウドやメッシュは、スパarsityや不規則なトポロジーに対応するための特別なアーキテクチャを必要とし、処理の複雑さが増す。
• メッシュのような非ユークリッド表現は、ボクセルグリッドに比べて幾何的忠実度をより良く保つが、標準的な畳み込み演算には適さない。
• グラフベースおよびポイントベースのネットワークは、3Dデータにおけるノイズやサンプリング密度の変動に対して、より高いロバスト性を示す。
• 表現形式の選択は、モデルの効率性、インダクティブバイアス、さまざまな3Dビジョンタスクにおける汎化性能に顕著な影響を与える。
• 進展は見られるものの、特に隠蔽やスケール変動の処理において、多様な3Dデータフォーマット間で一貫したパフォーマンスを達成するには課題が残っている。