[論文レビュー] Improving the Resolution of CNN Feature Maps Efficiently with Multisampling

Shayan Sadigh, Pradeep Sen|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 17被引用数 3

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）のダウンサンプリング過程でより多くの空間情報を保持することで、特徴マップの解像度を向上させる新しい手法であるマルチサンプリングを提案する。チェッカーパターン・ダウンサンプリングは、特定の構造化されたサンプリングパターンを用いて、従来のマックスプーリングの25％に比べて50％の空間解像度を維持する実装方法であり、追加パラメータを追加せずにResNetやDenseNetの精度を向上させるとともに、微調整なしに事前学習済みImageNetモデルの精度向上も可能である。

ABSTRACT

We describe a new class of subsampling techniques for CNNs, termed multisampling, that significantly increases the amount of information kept by feature maps through subsampling layers. One version of our method, which we call checkered subsampling, significantly improves the accuracy of state-of-the-art architectures such as DenseNet and ResNet without any additional parameters and, remarkably, improves the accuracy of certain pretrained ImageNet models without any training or fine-tuning. We glean possible insight into the nature of data augmentations and demonstrate experimentally that coarse feature maps are bottlenecking the performance of neural networks in image classification.

研究の動機と目的

• 標準的なCNNにおける粗い最終特徴マップが画像分類の精度を制限するというボトルネックを解消すること。
• ダウンサンプリング層における計算効率と空間情報保持のトレードオフを克服すること。
• モデルパラメータや計算コストを増加させずに高解像度の空間特徴を保持すること。
• 最小限のアーキテクチャ変更で最先端モデルがより高い精度を達成できるようにすること。
• 粗い特徴マップが現代のCNNにおける主な性能ボトルネックであることを実証すること。

提案手法

• ダウンサンプリング時に特徴マップからより多くのサンプルを取得する一般化フレームワークとしてマルチサンプリングを提案し、より多くの空間情報を保持する。
• チェッカーパターン・ダウンサンプリングを導入し、チェッカーパターンに似たパターンを用いた構造化された2次元ダウンサンプリング手法として、1層あたりの空間位置の50％を選択する（従来の25％に比べて）。
• 複数のサンプリングされた特徴表現を格納できるサブマップ次元を特徴マップに拡張し、サブマップに跨る3次元畳み込み演算を可能にする。
• チェッカーパターン・ダウンサンプリングを繰り返し適用する際の対角線方向のサンプリングバイアスを避けるために、低不均一性ラティス列列列またはランダムなサンプラー選択を用いる。
• PyTorchなどのディープラーニングフレームワークに最小限のコード変更で実装し、ResNet や DenseNet などの既存アーキテクチャをチェッカーパターンCNN（CCNN）に容易に変換可能にする。
• すべてのサブマップに同じダウンサンプリングパターンを適用するか、ランダムに変更することで、特徴抽出の分布を改善し、空間バイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 モデルパラメータや計算コストを増加させずに、CNNの特徴マップ解像度を向上させることは可能か？
• RQ2 ダウンサンプリング層でより多くの空間情報を保持することで、画像分類タスクの精度が向上するか？
• RQ3 チェッカーパターン・ダウンサンプリングを既存の事前学習済みモデルに適用することで、微調整なしに精度を向上させられるか？
• RQ4 現代のCNNにおける性能劣化は粗い最終特徴マップに起因しており、その問題を緩和できるか？
• RQ5 チェッカーパターン・ダウンサンプリングの構造化されたサンプリングパターンは、従来のマックスプーリングや拡張畳み込み（dilated convolutions）と比較して、情報保持度と計算効率の面でどのように異なるか？

主な発見

• チェッカーパターン・ダウンサンプリングは、1層あたりの特徴マップの空間解像度を従来のマックスプーリングの25％から50％に向上させる。
• この手法により、ResNet や DenseNet といった最先端モデルの精度が、追加パラメータなしに向上する。
• 事前学習済みImageNetモデルをチェッカーパターンCNN（CCNN）に変換した場合、再学習や微調整なしにトップ-1精度が向上する。
• この技術は、空間次元を削減することで計算効率を維持しながら、より多くの空間情報を保持するため、拡張畳み込みの高コストを回避する。
• サブマップ間で異なるチェッカーパターン・サンプラーをランダムに適用することで、対角線方向のサンプリングバイアスを防止し、特徴の分布を改善できる。
• サブマップ次元により、複数のサンプリングされた特徴表現を処理する3次元畳み込みが可能となり、特徴表現の能力が向上する。