[論文レビュー] DecomposeMe: Simplifying ConvNets for End-to-End Learning

José M. Alvarez, Lars Petersson|arXiv (Cornell University)|Jun 17, 2016

Advanced Neural Network Applications参考文献 20被引用数 34

ひとこと要約

DecomposeMeは、2次元フィルタを学習可能な1次元フィルタの組み合わせに分解する、新しい1次元畳み込みアーキテクチャを提案する。これによりパラメータの効率性が向上し、性能も向上する。フィルタの分離可能性をハード制約として強制し、層内での1次元フィルタの共有を実施することで、VGG-Bと比較して、Places2においてパラメータを92%削減し、トップ1精度を7.7%向上させるとともに、推論速度を4.3倍に高速化した。

ABSTRACT

Deep learning and convolutional neural networks (ConvNets) have been successfully applied to most relevant tasks in the computer vision community. However, these networks are computationally demanding and not suitable for embedded devices where memory and time consumption are relevant. In this paper, we propose DecomposeMe, a simple but effective technique to learn features using 1D convolutions. The proposed architecture enables both simplicity and filter sharing leading to increased learning capacity. A comprehensive set of large-scale experiments on ImageNet and Places2 demonstrates the ability of our method to improve performance while significantly reducing the number of parameters required. Notably, on Places2, we obtain an improvement in relative top-1 classification accuracy of 7.7\% with an architecture that requires 92% fewer parameters compared to VGG-B. The proposed network is also demonstrated to generalize to other tasks by converting existing networks.

研究の動機と目的

• リソース制約のある環境（例：組み込みデバイス）における大規模なConvNetsの高いメモリ使用量と計算コストを軽減すること。
• 分類性能を損なわず、あるいは向上させながら畳み込み層のパラメータ数を削減すること。
• 事前学習モデルや微調整の後処理を必要とせず、コンパクトで効率的なネットワークをエンドツーエンドで訓練できること。
• 画像分類を越えた他のビジョンタスク（例：ステレオマッチング）へも一般化できること。
• 1次元フィルタコンポonent間の非線形活性化により、有効なネットワークの深さを向上させ、学習能力を高めること。

提案手法

• 本手法は、2次元畳み込みフィルタを1次元フィルタの線形結合に分解し、学習中に分離可能性をハード制約として強制する。
• 層内でのチャネル間で1次元フィルタを共有することで、冗長性を低減し、さらにパラメータ数を削減する。
• 1次元フィルタコンポーネントの間にReLU活性化関数を挿入することで、線形領域の数を増やし、表現能力を向上させる。
• 事前学習や微調整ステップを必要とせず、スクラッチからエンドツーエンドで訓練する。
• 本手法は、標準的な画像分類タスクおよびステレオマッチングタスクの両方に適用可能であり、汎用性を示した。
• 大きなカーネルやスタックド1次元畳み込みを用いることで、同等の感受野サイズ（例：9×9）を維持する。

実験結果

リサーチクエスチョン

• RQ1 1次元フィルタの分解により、ConvNetsのパラメータ数を顕著に削減できるか、かつ性能を維持または向上できるか？
• RQ2 学習中にフィルタ分離可能性をハード制約として強制することで、後処理による近似手法と比較して、より優れた一般化性能と効率性が得られるか？
• RQ3 提案されたアーキテクチャは、画像分類を越えた他のビジョンタスク（例：ステレオマッチング）へも一般化可能か？
• RQ4 1次元フィルタコンポーネントの間に非線形活性化を挿入することで、有効なネットワークの深さと学習能力が向上するか？
• RQ5 標準的なVGG型アーキテクチャと比較して、極めて少ないパラメータ数と推論時間で最先端の性能を達成できるか？

主な発見

• Places2データセットにおいて、DecomposeMeはVGG-Bと比較して、パラメータ数の8%しか使用していないにもかかわらず、トップ1分類精度を7.7%相対的に向上させた。
• 提案されたアーキテクチャは、VGG-Bと比較してパラメータ数を92%削減しながら、性能を維持または向上させた。
• Places2において、前向き・逆伝搬の実行時間はVGG-Bと比較して4.3倍高速化された。
• KITTI2012におけるステレオマッチングでは、畳み込み層のパラメータ数を24.3%にまで削減したにもかかわらず、元のモデルと同等の性能を達成した。
• バッチサイズ8枚あたりの特徴抽出時間は776.9秒から281.9秒にまで短縮され、63.8%の短縮が達成され、全体の実行時間への影響は最小限だった。
• 本手法は良好な一般化性能を示した。ステレオマッチングネットワークに適用した場合、パラメータ数を著しく削減しながらも、競争力のある誤差率（例：2.72% OA）を維持した。