[論文レビュー] 3D-A-Nets: 3D Deep Dense Descriptor for Volumetric Shapes with Adversarial Networks

Mengwei Ren, Liang Niu+1 more|arXiv (Cornell University)|Nov 28, 2017

3D Shape Modeling and Analysis参考文献 33被引用数 25

ひとこと要約

本稿では、3Dボクセルのマルチレイヤー密度表現（MDR）を用いてボリュメトリック形状のディープな密な形状記述子（3D-DDSD）を学習する、新しい3D対抗ネットワーク、3D-A-Netsを提案する。CNN-RNN生成器と対抗的ディスクライマインャーを共同で訓練することで、ModelNet40において3D形状分類（90.5%の正確性）とリtrieval（mAP 0.801）の最先端性能を達成し、従来のボクセルベース手法を顕著に上回った。

ABSTRACT

Recently researchers have been shifting their focus towards learned 3D shape descriptors from hand-craft ones to better address challenging issues of the deformation and structural variation inherently present in 3D objects. 3D geometric data are often transformed to 3D Voxel grids with regular format in order to be better fed to a deep neural net architecture. However, the computational intractability of direct application of 3D convolutional nets to 3D volumetric data severely limits the efficiency (i.e. slow processing) and effectiveness (i.e. unsatisfied accuracy) in processing 3D geometric data. In this paper, powered with a novel design of adversarial networks (3D-A-Nets), we have developed a novel 3D deep dense shape descriptor (3D-DDSD) to address the challenging issues of efficient and effective 3D volumetric data processing. We developed new definition of 2D multilayer dense representation (MDR) of 3D volumetric data to extract concise but geometrically informative shape description and a novel design of adversarial networks that jointly train a set of convolution neural network (CNN), recurrent neural network (RNN) and an adversarial discriminator. More specifically, the generator network produces 3D shape features that encourages the clustering of samples from the same category with correct class label, whereas the discriminator network discourages the clustering by assigning them misleading adversarial class labels. By addressing the challenges posed by the computational inefficiency of direct application of CNN to 3D volumetric data, 3D-A-Nets can learn high-quality 3D-DSDD which demonstrates superior performance on 3D shape classification and retrieval over other state-of-the-art techniques by a great margin.

研究の動機と目的

• ボリュメトリックデータへの直接的な3D CNN適用における計算効率の低さと精度の限界を是正すること。
• 構造的変化に頑健で、幾何学的に情報豊富な3D形状記述子を学習し、一般化を可能にすること。
• 対抗的学習と空間時間的特徴モデリングを用いて、3D形状分類およびリtrievalの性能を向上させること。
• 効率的な特徴抽出を可能にする、3Dボクセルグリッドのコンactかつ情報豊富な2次元マルチレイヤー密度表現（MDR）を開発すること。
• CNN、RNN、対抗的学習を統合したフレームワークを構築し、頑健な3D形状記述子学習を実現すること。

提案手法

• 本手法は、3Dボクセルグリッドを2次元スライスの系列に投影することで、効率的なCNN処理を可能にする2次元マルチレイヤー密度表現（MDR）を導入する。
• CNN-RNN生成器ネットワークは、MDRスライスからの階層的特徴を抽出し、ConvLSTMが隣接スライス間の空間時間的依存関係をモデル化する。
• 対抗的ディスクライマインャーは、同じカテゴリの実際の特徴を異なるカテゴリとして誤分類させることを目的とし、生成器がより判別力のある特徴を学習するように強制する。
• 生成器とディスクライマインャーは、対抗的アプローチで共同で訓練され、クラスラベルごとの特徴クラスタリングが向上し、一般化性能が向上する。
• モデルは3スライスのMDR構成を採用し、モデルの複雑さと性能のバランスを実験的に妥当化した。
• 最終的な3D-DDSDは生成器から抽出され、分類やリtrievalなどの下流タスクに使用される。

実験結果

リサーチクエスチョン

• RQ1 ボリュメトリックデータから学習する3D形状記述子の判別力を向上させるために、対抗的学習は有効であるか？
• RQ2 MDRスライス間の空間的関係をモデル化するためにRNNを統合することは、3D形状表現においてどの程度効果的か？
• RQ3 3D CNNと比較して、計算コストを削減しつつ、3Dボクセルの2次元MDR表現が高い性能を達成できるか？
• RQ4 提案された3D-A-Netsフレームワークは、既存のボクセルベース3D形状分類およびリtrieval手法をどの程度上回るか？
• RQ5 モデル効率と性能のバランスを最適化するには、MDRスライスの最適数は何か？

主な発見

• 提案された3D-A-Netsは、ModelNet40ベンチマークで90.5%の分類正確性を達成し、前回の最先端手法VoxNet（83%）を顕著に上回った。
• 3D形状リtrievalではmAPが0.801に達し、3D ShapeNets（mAP 0.492）や3D-GAN（報告なし）を大幅に上回った。
• アブレーションスタディの結果、対抗的学習のみで正確性が85.6%（CNNのみ）から88.1%に向上した。これは、性能向上における対抗的学習の重要性を示している。
• RNNコンポーネントは、CNNのみ（87.5% vs. 85.6%）と比較して0.6%の正確性向上をもたらし、空間時間的特徴相関のモデル化における価値を確認した。
• 精度-再現率曲線の比較では、3D-A-Netsは全再現率レベルで3D ShapeNetsを顕著に上回った。
• モデルは大多数のケースで正しいオブジェクトを正しくリtrievalできたが、デスクとナイトスタンドのように視覚的に類似したカテゴリ間で誤認識が発生した。