[論文レビュー] Parallel Separable 3D Convolution for Video and Volumetric Data Understanding.

Felix Gonda, Donglai Wei+2 more|arXiv (Cornell University)|Jan 1, 2018

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、3D畳み込みをm本の並列な2Dおよび1D畳み込み層のストリームに置き換えることで、3D畳み込みを効率化する新規な畳み込みブロックPmSCnを提案する。並列処理とテンソル分解を活用し、連続する3D畳み込み層を統合的に置き換えることで、動画行動認識、MRI脳セグメンテーション、電子線 microscopy によるセグメンテーションの各タスクで、約14%の精度向上と40%のモデルサイズ削減を達成した。

ABSTRACT

For video and volumetric data understanding, 3D convolution layers are widely used in deep learning, however, at the cost of increasing computation and training time. Recent works seek to replace the 3D convolution layer with convolution blocks, e.g. structured combinations of 2D and 1D convolution layers. In this paper, we propose a novel convolution block, Parallel Separable 3D Convolution (PmSCn), which applies m parallel streams of n 2D and one 1D convolution layers along different dimensions. We first mathematically justify the need of parallel streams (Pm) to replace a single 3D convolution layer through tensor decomposition. Then we jointly replace consecutive 3D convolution layers, common in modern network architectures, with the multiple 2D convolution layers (Cn). Lastly, we empirically show that PmSCn is applicable to different backbone architectures, such as ResNet, DenseNet, and UNet, for different applications, such as video action recognition, MRI brain segmentation, and electron microscopy segmentation. In all three applications, we replace the 3D convolution layers in state-of-the art models with PmSCn and achieve around 14% improvement in test performance and 40% reduction in model size and on average.

研究の動機と目的

• 動画およびボリュームデータ理解における3D畳み込み層の高い計算コストと学習時間の問題を解決すること。
• 従来の2D+1Dまたは1D+2D分離手法の限界を克服し、3D畳み込みをよりよく近似できる並列ストリームを導入すること。
• 既存の3D畳み込みニューラルネットワークバックボーン（例：ResNet、DenseNet、UNet）にスムーズに統合可能な柔軟で即挿し可能なモジュールを開発すること。
• 多様な3D学習タスクにおいて、モデルサイズと推論時間を削減しながら、性能を維持または向上させること。

提案手法

• m本の並列ストリーム（Pm）を用いて単一の3D畳み込み層を置き換える根拠を、テンソル分解に基づいて提示すること。
• 異なる空間的または時間的次元に沿って適用されるn本の並列2D畳み込みと1本の1D畳み込みを組み合わせたマルチストリームアーキテクチャを設計すること。
• 深層ネットワーク内の連続する3D畳み込み層を、複数の2D畳み込み（Cn）に同時に置き換えることで、表現能力を保持しつつパラメータ数を削減すること。
• 空間的および時間的不変性を維持しながら、分離可能な演算により計算を効率化するようにアーキテクチャを最適化すること。
• 微分可能でエンドツーエンド学習可能なモジュールとして設計することで、標準的なディープラーニングフレームワークとの互換性を確保すること。
• アーキテクチャの再設計を伴わずに、最先端モデルにおける3D畳み込みの直接的な置き換えとしてPmSCnブロックを適用すること。

実験結果

リサーチクエスチョン

• RQ1 2Dおよび1D畳み込みの並列ストリームは、逐次的または単一ストリームの代替手法よりも3D畳み込みをよりよく近似できるか？
• RQ2 連続する3D畳み込み層を複数の2D畳み込みに同時に置き換えることで、特徴表現が維持または向上するか？
• RQ3 PmSCnは、3D動画およびボリューム学習において、モデルサイズと推論時間をどの程度削減できるか？ その際、精度を維持または向上させられるか？
• RQ4 PmSCnモジュールは、多様なアーキテクチャ（例：ResNet、DenseNet、UNet）およびタスク（例：行動認識、セグメンテーション）にどの程度汎用的に適用可能か？

主な発見

• PmSCnは、動画行動認識、MRI脳セグメンテーション、電子線 microscopy によるセグメンテーションの全評価対象アプリケーションで、約14%のテスト性能向上を達成した。
• 最先端モデルにおける3D畳み込み層をPmSCnに置き換えた際、モデルサイズは平均で40%削減された。
• 効率的なテンソル分解と並列計算により、計算複雑性を顕著に低減しながらも、高い精度を維持した。
• PmSCnブロックは、アーキテクチャの変更なしにResNet、DenseNet、UNetのバックボーンに成功裏に統合された。
• 実験結果から、並列ストリーム設計が、逐次的または単一ストリームの代替手法よりも3D畳み込みの近似を優れて行えることが確認された。
• 連続する3D層を複数の2D畳み込みに同時に置き換えることで、表現能力が保持され、一般化性能が向上した。