[論文レビュー] 3D Depthwise Convolution: Reducing Model Parameters in 3D Vision Tasks

Rongtian Ye, Fangyu Liu+1 more|arXiv (Cornell University)|Aug 5, 2018

Advanced Vision and Imaging参考文献 18被引用数 4

ひとこと要約

本稿では、標準的な3次元畳み込みを深さ方向とポイントワイドな演算に分解することで、3次元ビジョンタスクにおけるモデルパラメータを著しく削減する3次元深度方向畳み込みを提案する。分類および再構成タスクにおいて、標準的な3次元畳み込みと同等の性能を達成しながら、最大95％のパラメータ削減を実現し、リソース制約下でもより深く、効率的な3次元ネットワークの構築を可能にする。

ABSTRACT

Standard 3D convolution operations require much larger amounts of memory and computation cost than 2D convolution operations. The fact has hindered the development of deep neural nets in many 3D vision tasks. In this paper, we investigate the possibility of applying depthwise separable convolutions in 3D scenario and introduce the use of 3D depthwise convolution. A 3D depthwise convolution splits a single standard 3D convolution into two separate steps, which would drastically reduce the number of parameters in 3D convolutions with more than one order of magnitude. We experiment with 3D depthwise convolution on popular CNN architectures and also compare it with a similar structure called pseudo-3D convolution. The results demonstrate that, with 3D depthwise convolutions, 3D vision tasks like classification and reconstruction can be carried out with more light-weighted neural networks while still delivering comparable performances.

研究の動機と目的

• 標準的な3次元畳み込みが3次元ビジョンタスクにおいて高い計算コストとメモリ使用量を生じる問題に対処すること。
• リソース制約下の3次元ニューラルネットワークに対して、パラメータ効率の良い代替手法を検討すること。
• パラメータ削減を実現しながら性能を維持する3次元深度方向畳み込みの提案と評価。
• 分類および3次元再構成タスクにおいて、3次元深度方向畳み込みの有効性を実証すること。
• 深度方向の因子分解によるパラメータ数の削減を通じて、メモリおよび計算制約下でもより深い3次元ConvNetの学習を可能にすること。

提案手法

• 標準的な3次元畳み込みを2段階に分解：入力チャネルごとの深度方向畳み込みとチャネル間をカバーする1×1×1ポイントワイド畳み込み。
• 形状 (l, w, h, c) の3次元特徴マップに、各チャネルに対してc個の別々のk×k×kフィルタを適用した後、1×1×1畳み込みで統合。
• 数学的にパラメータ効率を分析し、標準的な3次元畳み込みと比較して10倍以上のパラメータ削減を示す。
• 3次元畳み込みの代替手法としての疑似3次元畳み込み（フィルタを空間的および時間的成分に分解）と比較し、より少ないパラメータ数かつ同等の性能を示す。
• VGGや残差ブロックといった標準アーキテクチャに3次元深度方向畳み込みを統合し、3次元再構成デコーダーへの適用も実施。
• 深度方向畳み込みを組み込んだ残差ブロックベースのデコーダー（ResRec）を用いて、より深いが小型な3次元再構成モデルを構築。

実験結果

リサーチクエスチョン

• RQ1 深さ方向分離畳み込みを3次元畳み込み演算に効果的に拡張することで、モデルパラメータを削減できるか？
• RQ2 パラメータ効率および性能の観点から、3次元深度方向畳み込みは疑似3次元畳み込みと比べてどう異なるか？
• RQ3 3次元分類および再構成タスクにおいて、3次元深度方向畳み込みはモデルサイズを著しく削減しながらも高い性能を維持できるか？
• RQ4 3次元深度方向畳み込みを用いることで、メモリおよび計算制約下でもより深い3次元ConvNetの学習が可能になるか？
• RQ5 パラメータ効率の良い畳み込みを用いた場合、モデルの深さとアーキテクチャ設計が3次元再構成性能に与える影響は何か？

主な発見

• 3次元深度方向畳み込みは、分類タスクにおいて標準的な3次元畳み込みと比較して、最大95％のパラメータ削減を達成し、性能の低下は最小限に抑えられる。
• 3次元再構成タスクにおいては、より深い3次元深度方向畳み込みデコーダー（ResRec-16 dw）が、より浅い標準的な3次元畳み込みデコーダーと比較して、63.1 mIoUの高い性能を達成した。
• ResRec-16 dwモデルは61.5 mIoUを達成し、標準的なResRec-16（63.1 mIoU）よりも優れた性能を示したが、これは深さ方向畳み込みを用いた場合の高い効率性と性能のトレードオフを示している。
• 定性的な結果から、疑似3次元畳み込みに比べて3次元深度方向畳み込みが、より細かいディテールをよりよく保持していることが示された。疑似3次元畳み込みは滑らかではあるが、詳細性に欠ける表面を生成する傾向がある。
• より深い3次元ConvNet（例：ResRec-16）は、同じエンコーダーを用いても、浅いモデル（例：3D-R2N2）よりも顕著に優れた性能を示し、3次元ビジョンタスクにおける深さの重要性を強調している。
• 3次元深度方向畳み込みの使用により、計算およびメモリ制約が厳しい環境下でも、より深い、より複雑な3次元ネットワークの構築が可能となり、かつては実現不可能とされていたモデルの実現が可能になった。