[論文レビュー] Parallel Grid Pooling for Data Augmentation

Akito Takeki, Daiki Ikami+2 more|arXiv (Cornell University)|Mar 30, 2018

Advanced Neural Network Applications参考文献 43被引用数 6

ひとこと要約

本稿では、s×sグリッド内のすべての位置を網羅的にグリッドプーリングすることで、中間特徴を破棄せずに空間的ダウンサンプリングを実行する、微分可能で新しいダウンサンプリング層であるParallel Grid Pooling（PGP）を提案する。PGPは特徴空間におけるデータ拡張の一種として機能し、複数の画像分類ベンチマークで性能向上を示し、ドーリエイトド畳み込みがデータ拡張の一種として解釈可能であることを明らかにする。

ABSTRACT

Convolutional neural network (CNN) architectures utilize downsampling layers, which restrict the subsequent layers to learn spatially invariant features while reducing computational costs. However, such a downsampling operation makes it impossible to use the full spectrum of input features. Motivated by this observation, we propose a novel layer called parallel grid pooling (PGP) which is applicable to various CNN models. PGP performs downsampling without discarding any intermediate feature. It works as data augmentation and is complementary to commonly used data augmentation techniques. Furthermore, we demonstrate that a dilated convolution can naturally be represented using PGP operations, which suggests that the dilated convolution can also be regarded as a type of data augmentation technique. Experimental results based on popular image classification benchmarks demonstrate the effectiveness of the proposed method. Code is available at: https://github.com/akitotakeki

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における標準的なダウンサンプリング層が、中間特徴情報の1−1/s²を破棄するという制限を解決すること。
• パrameter増加なしにダウンサンプリング中に中間特徴を完全に活用できる手法を提案すること。
• PGPが特徴空間におけるデータ拡張の一種として機能し、モデルの汎化性能を向上させることを示すこと。
• ドーリエイトド畳み込みがPGP操作を介して暗黙的にある種のデータ拡張を実行しているという、新しい解釈を明らかにすること。
• CIFAR-10/100、SVHN、ImageNet、マルチラベルデータセットを含む多様な画像分類ベンチマークにおいて、PGPの有効性を検証すること。

提案手法

• PGPは、畳み込み層またはプーリング層の出力特徴マップをs×sグリッドの空間的領域に分割する。
• 各グリッド位置(i,j)に対して、各領域の座標(i,j)における特徴マップ値を選択することで、グリッドプーリング操作を実行し、s²個のダウンサンプリング特徴マップを生成する。
• 得られたs²個の特徴マップは、その後続層で並列処理され、複数のずらされた表現を特徴空間に効果的に拡張する。
• PGPはパrameterフリーであり、ストライドが複数の畳み込み層やプーリング層の後に挿入可能で、ネットワークの学習戦略を変更せずに利用可能である。
• 本手法により、ドーリエイトド畳み込みが標準畳み込みに続くPGP操作に自然に分解されることを示し、ドーリエイトド畳み込みが特徴空間におけるデータ拡張を暗黙的に行っているという新たな解釈が得られた。
• PGPは、微調整済みまたは事前学習済みモデルに対してもテスト時において適用可能であり、再学習なしにテスト時拡張を実現できる。

実験結果

リサーチクエスチョン

• RQ1 CNNにおけるダウンサンプリング操作を再構築することで、パrameter増加なしに中間特徴情報をより多く保持できるか？
• RQ2 従来の画像空間における拡張と比較して、特徴空間におけるPGPがどれほど効果的なデータ拡張として機能するか？
• RQ3 画像分類タスクにおいて、PGPはドーリエイトド畳み込みと比較して性能や特徴表現において優れているか？
• RQ4 PGPは、微調整済みまたは事前学習済みモデルの推論精度を向上させるためにテスト時において適用可能か？
• RQ5 ドーリエイトド畳み込みに内蔵されたPGPの暗黙的利用が、セマンティックセグメンテーションやオブジェクト認識タスクにおけるその成功を説明できるか？

主な発見

• ImageNetにおいて、PGPはベースのResNet-50に対して最大1.1%、ResNet-101に対して1.0%のトップ-1精度向上を示し、アーキテクチャを問わず一貫した向上を確認した。
• CIFAR-100では、ResNet-50を用いてPGPが21.34%のトップ-1精度を達成し、ベースモデル（22.13%）とドーリエイトド畳み込み変種（21.26%）を上回った。
• NUS-WIDEとMS-COCOにおけるマルチラベル分類では、PGPが最高のmAPスコアを記録した—ResNet-101を用いてNUS-WIDEで57.2%、MS-COCOで75.5%を達成し、ベースモデルおよびドーリエイトド畳み込み変種を上回った。
• ImageNetで事前学習した重みから微調整する際、PGPを組み込んだモデルはドーリエイトド畳み込みよりも優れた転移性を示した。
• アブレーションスタディにより、PGPはランダムクロップやフリップといった従来のデータ拡張技術と相補的であることが確認され、併用することでさらなる性能向上が得られた。
• ドーリエイトド畳み込みを標準畳み込みとPGP操作に分解することで、ドーリエイトド畳み込みが本質的に特徴空間におけるデータ拡張を実行していることが確認された。