[論文レビュー] Wide and deep volumetric residual networks for volumetric image classification

Varun Arvind, Anthony Costa+3 more|arXiv (Cornell University)|Sep 18, 2017

3D Shape Modeling and Analysis参考文献 8被引用数 13

ひとこと要約

本稿では、3次元画像分類のための広い深さのボリューメトリック残差ネットワークを提案する。残差接続とネットワークの拡張を活用することで、3次元のPrinceton ModelNetデータセットにおける精度が向上し、浅い残差ネットワークの拡張が性能を顕著に向上させることを示している。深さが増した複雑なモデルに匹敵する最先端の結果が得られ、計算コストも低減されている。

ABSTRACT

3D shape models that directly classify objects from 3D information have become more widely implementable. Current state of the art models rely on deep convolutional and inception models that are resource intensive. Residual neural networks have been demonstrated to be easier to optimize and do not suffer from vanishing/exploding gradients observed in deep networks. Here we implement a residual neural network for 3D object classification of the 3D Princeton ModelNet dataset. Further, we show that widening network layers dramatically improves accuracy in shallow residual nets, and residual neural networks perform comparable to state-of-the-art 3D shape net models, and we show that widening network layers improves classification accuracy. We provide extensive training and architecture parameters providing a better understanding of available network architectures for use in 3D object classification.

研究の動機と目的

• ボリューミックディープラーニングを用いて、より効率的で正確な3次元オブジェクト分類モデルを開発すること。
• 3次元ボリューミックデータにおける分類性能に及ぼすネットワークの深さと幅の影響を調査すること。
• 残差ネットワークの拡張が、パrameter数を減らしながらも、より深いアーキテクチャと同等の性能を達成できるかどうかを評価すること。
• 残差ネットワークを用いた3次元オブジェクト分類における、包括的な訓練およびアーキテクチャ設計のガイドラインを提供すること。

提案手法

• 著者らは、深層ネットワークにおける消失勾配問題を軽減するため、残差ブロックを用いて3次元残差畳み込みニューラルネットワークを実装した。
• 3次元畳み込みとReLU活性化関数、バッチ正則化を適用し、ボリューミックデータからの階層的特徴を抽出した。
• ネットワークの深さと幅を系統的に変更し、残差接続によりより深いネットワークの学習が可能になった。
• 最終的な分類のため、グローバル平均プーリングに続いて全結合層を適用した。
• 精度と収束性へのネットワーク幅と深さの影響を分析するために、広範なアブレーションスタディを実施した。
• 標準的なデータオーグメンテーションと最適化技術を用いて、3次元Princeton ModelNetデータセットでモデルを学習した。

実験結果

リサーチクエスチョン

• RQ1 3次元ボリューミック残差ネットワークにおいて、ネットワークの幅を拡大すると分類精度にどのように影響するか？
• RQ2 浅いが広い残差ネットワークは、より深い・複雑なモデルと同等の性能を達成できるか？
• RQ3 ModelNetデータセットにおける3次元オブジェクト分類において、深さと幅の最適なバランスは何か？
• RQ4 残差接続は3次元ボリューミックネットワークにおける学習の安定性と精度にどのように影響するか？
• RQ5 どのようなアーキテクチャ的・訓練的設定が、3次元形状分類において最高のパフォーマンスをもたらすか？

主な発見

• 残差ネットワークの層の幅を広げることで、浅いアーキテクチャでさえも分類精度が顕著に向上する。
• 提案された広い深さのボリューミック残差ネットワークは、3次元Princeton ModelNetデータセットで最先端のパフォーマンスを達成した。
• モデルは、幅を広げることで深さを減らしても高い精度を達成できることを示しており、パrameter数を減らすことができる。
• 残差接続により、深さの増した3次元畳み込みネットワークの安定した学習が可能になり、消失勾配の問題が軽減された。
• 広範なアブレーションスタディにより、この設定では深さよりも幅の影響が精度に大きく寄与することが確認された。
• 結果として、3次元オブジェクト分類におけるアーキテクチャ選定の明確なガイドラインが得られ、深さを増すよりも幅を広げることがより効果的であることが示された。