[論文レビュー] Generative and Discriminative Voxel Modeling with Convolutional Neural Networks

Andrew Brock, Theodore Lim+2 more|arXiv (Cornell University)|Aug 15, 2016

3D Shape Modeling and Analysis参考文献 13被引用数 450

ひとこと要約

この論文は3D形状のボクセルベースの変分オートエンコーダと分類のためのボクセルベース深層ConvNetを提案し、ModelNetベンチマークで大幅な改善を達成し、潜在空間探索のGUIを提供します。

ABSTRACT

When working with three-dimensional data, choice of representation is key. We explore voxel-based models, and present evidence for the viability of voxellated representations in applications including shape modeling and object classification. Our key contributions are methods for training voxel-based variational autoencoders, a user interface for exploring the latent space learned by the autoencoder, and a deep convolutional neural network architecture for object classification. We address challenges unique to voxel-based representations, and empirically evaluate our models on the ModelNet benchmark, where we demonstrate a 51.5% relative improvement in the state of the art for object classification.

研究の動機と目的

• 生成と識別タスクにおける3Dデータのボクセルベース表現を動機づけ、検証する。
• 潜在形状因子を学習し補間を可能にするボクセルベースの変分自己符号化器を開発する。
• ModelNet36/40データセットで高性能な3D物体分類のための深いボクセルCNN（VoxceptionおよびVoxception-ResNet）を構築する。
• 潜在空間を探索しリアルタイム推論を行うためのユーザーインターフェースを提供する。
• ModelNet40およびModelNet10ベンチマークで最先端または競争力のある性能を実証する。

提案手法

• 3x3x3畳み込みと潜在層を用いたエンコーダ/デコーダ構造のボクセルベース変分自己符号化器を、ボクセル占有に調整した特殊なBCE損失とともに訓練する。
• KLダイバージェンス項とL2正則化を、ボクセルグリッドのクラス不均衡を緩和するように修正したBinary Cross-Entropy損失と併用する。
• VAEではストライド畳み込みによるダウンサンプリングと分数ストライド畳み込みによるアップサンプリングを用い、バッチ正規化とGlorot初期化を行う。
• Inception風モジュール・残差接続・確率的深さを備えたVoxceptionおよびVoxception-ResNetアーキテクチャなど、分類用のボクセルベースConvNetを開発する。
• 広範なデータ拡張（平行移動、反転、回転）と回転平均化アンサンブリングで訓練し、ModelNet40/ModelNet10ベンチマークで評価する。
• 潜在空間探索とリアルタイム推論のためのグラフィカルユーザーインターフェースを提供する。

実験結果

リサーチクエスチョン

• RQ1 VAEsを介してボクセルベース表現が3D形状の高忠実度生成モデル化をサポートできるか。
• RQ2 深いボクセルConvNetはマルチビュー法を用いずにModelNetベンチマークで最先端の分類を達成できるか。
• RQ3 データ拡張とアーキテクチャの深さがボクセルベースの3D分類の性能にどう影響するか。
• RQ4 ボクセルベースVAEが生み出す補間とサンプルの品質はどの程度か、潜在空間は構造的変動を分離できるか。
• RQ5 マルチビューや他の3D表現と比較して、ボクセルベースアプローチは性能と実用性の観点でスケールするか。

主な発見

予測	陽性	陰性
実際の陽性	99.39%	0.61%
実際の陰性	7.64%	92.36%

• VAE再構成精度 on ModelNet10: true positives 99.39%、true negatives 92.36%、過大評価傾向。
• 最良の単一VRNモデルはModelNet40で91.33%、ModelNet10で93.61%；アンサンブルはModelNet40で95.54%、ModelNet10で97.14%。
• VRNアンサンブルはModelNet40で相対的に51.5%向上、ModelNet10で53.2%向上。
• VRNワンビューの精度はModelNet40で88.98%、24回転入力でのアンサンブルはより高い性能を示す。
• Voxelベースの分類手法（VRN、Voxception）は、Voxnet、FusionNets、ORIONなどの従来手法を示したベンチマークで上回る。
• ボクセルベースVAEは形状間を滑らかに補間し、連結して構造化されたサンプルを生成できるが、生成された形状はまだ実物の物体に似ていない可能性がある。