[論文レビュー] Improved Regularization of Convolutional Neural Networks with Cutout

Terrance DeVries, Graham W. Taylor|arXiv (Cornell University)|Aug 15, 2017

Advanced Neural Network Applications参考文献 19被引用数 2,718

ひとこと要約

Cutoutは訓練中に入力画像のランダムな正方形領域をマスクすることでCNNの正則化を改善し、他のデータ拡張や正則化手法と組み合わせた場合にCIFAR-10、CIFAR-100、SVHNで新しい最先端の結果を達成します。

ABSTRACT

Convolutional neural networks are capable of learning powerful representational spaces, which are necessary for tackling complex learning tasks. However, due to the model capacity required to capture such representations, they are often susceptible to overfitting and therefore require proper regularization in order to generalize well. In this paper, we show that the simple regularization technique of randomly masking out square regions of input during training, which we call cutout, can be used to improve the robustness and overall performance of convolutional neural networks. Not only is this method extremely easy to implement, but we also demonstrate that it can be used in conjunction with existing forms of data augmentation and other regularizers to further improve model performance. We evaluate this method by applying it to current state-of-the-art architectures on the CIFAR-10, CIFAR-100, and SVHN datasets, yielding new state-of-the-art results of 2.56%, 15.20%, and 1.30% test error respectively. Code is available at https://github.com/uoguelph-mlrg/Cutout

研究の動機と目的

• CNNの一般化を改善するシンプルな正則化手法を動機づける。
• 入力領域のランダムなゼロマスキング（cutout）の有効性をデータセットとアーキテクチャ全体で調査する。
• cutoutが既存のデータ拡張および正則化法とどの程度適合するかを評価する。
• CIFAR-10、CIFAR-100、SVHN、STL-10での性能向上を実証する。

提案手法

• 訓練中に各入力のランダムな位置に固定サイズの正方形領域をマスクする形でcutoutを導入する。
• テスト時のリスケーリングなしで入力空間にゼロマスキングを適用する。
• cutoutの安定性のためデータを均一化して平均を0にする。
• 検証データのサブセットを用いたグリッドサーチで最適なパッチサイズを特定する。
• CIFAR-10、CIFAR-100、SVHN、STL-10でResNet18、WideResNet、Shake-shakeモデルを用いてcutoutを評価する。
• 標準のデータ拡張とバッチ正規化と組み合わせてcutoutを適用する。

実験結果

リサーチクエスチョン

• RQ1 標準のデータ拡張やドロップアウトを超える一般化を、ランダムcutoutはCNNに対して実現可能か？
• RQ2 cutoutはResNetやWRNなどの現代的なアーキテクチャおよびshake-shakeのような最先端の正則化手法とどのように相互作用するか？
• RQ3 異なるクラス数と解像度を持つデータセットで、cutoutパッチサイズが性能に与える影響はどうなるか？

主な発見

• CutoutはResNet18およびWideResNetにおいてCIFAR-10およびCIFAR-100のテスト精度を0.4–2.0ポイント向上させる。
• Shake-shake正則化とcutoutの組み合わせで、CIFAR-10で2.56%、CIFAR-100で15.20%の新しい最先端結果を達成する。
• WideResNet-16-8でSVHNのテスト誤差を1.30%に達成する。
• STL-10では無拡張時の誤差が23.48%から20.77%に、拡張時は14.21%から12.74%へ改善される。
• cutoutは浅層の活性化を増加させ、深層の活性化分布を広げる傾向があり、より広い特徴の利用を示唆する。