[論文レビュー] EasyConvPooling: Random Pooling with Easy Convolution for Accelerating Training and Testing

Jian‐Zhong Sheng, Chuanbo Chen+2 more|arXiv (Cornell University)|Jun 5, 2018

Machine Learning and Data Classification参考文献 24被引用数 3

ひとこと要約

本稿では、従来の畳み込みとプーリングをエイジリーコンボリューションとランダムプーリングに置き換えることで、CNNの学習および推論を高速化する新規手法であるEasyConvPooling (ECP) を提案する。ECPは、2×2領域ごとに1つの画素をランダムに選択することで計算量を75%削減し、学習時に1.45倍、推論時に1.64倍の高速化を達成しつつ、精度の低下を最小限に抑える。

ABSTRACT

Convolution operations dominate the overall execution time of Convolutional Neural Networks (CNNs). This paper proposes an easy yet efficient technique for both Convolutional Neural Network training and testing. The conventional convolution and pooling operations are replaced by Easy Convolution and Random Pooling (ECP). In ECP, we randomly select one pixel out of four and only conduct convolution operations of the selected pixel. As a result, only a quarter of the conventional convolution computations are needed. Experiments demonstrate that the proposed EasyConvPooling can achieve 1.45x speedup on training time and 1.64x on testing time. What's more, a speedup of 5.09x on pure Easy Convolution operations is obtained compared to conventional convolution operations.

研究の動機と目的

• 深層CNNにおける畳み込み演算の高い計算コストが学習および推論時間を支配するという問題に対処すること。
• アーキテクチャの再設計を伴わずに、学習および推論の両方で通用する、軽量な高速化手法を開発すること。
• ランダム化されたスパース計算により、顕著な高速化を達成しながら精度の低下を最小限に抑えること。
• FLOPsとコンボリューション層におけるメモリアクセスの削減により、リソース制約のあるプラットフォームへの効率的なデプロイを可能にすること。

提案手法

• 各2×2空間領域から1つの画素をランダムに選択して、そのブロック全体を代表させるランダムプーリングを導入する。
• 次の層におけるエイジリーコンボリューション操作を誘導するために、選択された「ラッキーピクセル」のインデックスを用いる。
• 選択された画素のコンボリューションのみを計算することで、計算量を元の25%に削減するエイジリーコンボリューションを適用する。
• 選択された画素の位置に合わせてコンボリューションモードを調整（モードK）することで、特徴マップの形状を維持する。
• プーリング層からコンボリューション層への固定インデックスマッピングを採用することで、層間における空間構造を保持する。
• 標準的なコンボリューションおよびプーリングをECPパイプラインに置き換えることで、学習および推論の両方の高速化を実現する。

実験結果

リサーチクエスチョン

• RQ1 2×2領域ごとに1つの画素をランダムに選択することで、ネットワーク性能を維持しつつ、畳み込み計算量を著しく削減できるか？
• RQ2 ECPフレームワークにおいて、ランダムモード（モードK）の選択が収束性および精度に与える影響は何か？
• RQ3 ECPは、従来のマックス/平均プーリングと比較して、速度向上および精度の観点でどの程度の性能向上を示すか？
• RQ4 ECPは、異なるネットワークの深さおよびアーキテクチャに普遍的に適用可能であり、一貫した高速化と最小限の精度損失を達成できるか？
• RQ5 ランダムプーリングとエイジリーコンボリューションの組み合わせは、単独で使用する場合と比較して、効率性および収束性の観点でどのように異なるか？

主な発見

• ECPは、従来のCNNと比較して、学習時間で1.45倍、推論時間で1.64倍の高速化を達成し、精度の低下を最小限に抑える。
• 提案手法は、コンボリューション計算量を75%削減し、標準的なコンボリューションと比較して、純粋なエイジリーコンボリューションでは5.09倍の高速化を実現する。
• ランダムプーリング単体でも学習および推論時間を短縮できるが、エイジリーコンボリューションと組み合わせることで、はるかに顕著な性能向上が得られる。
• ECPは、特に深層ネットワークにおいて、マックスプーリングおよび平均プーリングを上回る高速化を達成するが、マックスプーリングと比較してわずかな精度損失にとどまる。
• モードK（選択された画素インデックス）の選択が収束性や最終的な精度に与える影響は小さく、ランダム選択に対して高いロバスト性を示す。
• 1層および2層のコンボリューションネットワークにおいて、良好な収束特性を維持しており、アーキテクチャ全体にわたる安定性および一般化性能を示している。