[論文レビュー] DropBlock: A regularization method for convolutional networks

Golnaz Ghiasi, Tsung-Yi Lin+1 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Neural Network Applications被引用数 517

ひとこと要約

DropBlockは特徴マップ内の連続した領域をドロップすることで構造化ドロップアウトを導入し、標準のドロップアウトと比較してCNNの正則化と精度を向上させます。ImageNetとCOCOにおいてResNet-50とAmoebaNetアーキテクチャで顕著な改善をもたらします。

ABSTRACT

Deep neural networks often work well when they are over-parameterized and trained with a massive amount of noise and regularization, such as weight decay and dropout. Although dropout is widely used as a regularization technique for fully connected layers, it is often less effective for convolutional layers. This lack of success of dropout for convolutional layers is perhaps due to the fact that activation units in convolutional layers are spatially correlated so information can still flow through convolutional networks despite dropout. Thus a structured form of dropout is needed to regularize convolutional networks. In this paper, we introduce DropBlock, a form of structured dropout, where units in a contiguous region of a feature map are dropped together. We found that applying DropbBlock in skip connections in addition to the convolution layers increases the accuracy. Also, gradually increasing number of dropped units during training leads to better accuracy and more robust to hyperparameter choices. Extensive experiments show that DropBlock works better than dropout in regularizing convolutional networks. On ImageNet classification, ResNet-50 architecture with DropBlock achieves $78.13\%$ accuracy, which is more than $1.6\%$ improvement on the baseline. On COCO detection, DropBlock improves Average Precision of RetinaNet from $36.8\%$ to $38.4\%$.

研究の動機と目的

• 標準のドロップアウト下で空間的に相関した特徴を持つため、畳み込みネットワークでより良い正則化が必要であることを動機づける。
• 特徴マップ内の連続した領域をドロップする構造化ドロップアウトとしてDropBlockを提案する。
• DropBlockを畳み込みブロックおよびスキップ接続に適用した場合の影響を、ドロップ確率のスケジューリングとともに調査する。
• ImageNet分類、COCO物体検出、PASCAL VOCセマンティックセグメンテーションにおけるDropBlockの有効性を示す。

提案手法

• DropBlockを特徴マップ内の連続領域（ブロック）をドロップするものとして定義する。
• 特徴マップごとにBernoulliマスクをサンプルして種点を選択し、各種点をブロックサイズ block_size のブロックへ展開する。
• マスキング後に特徴マップを正規化して、期待される活性化統計を維持する。
• トレーニング中にrobust性を高めるためにkeep_probを徐々に減少させるスケジューリング手法を導入する。
• 複数のアーキテクチャ（ResNet-50、AmoebaNet-B）とタスク（画像分類、物体検出、セマンティックセグメンテーション）にわたってDropBlockを評価する。

実験結果

リサーチクエスチョン

• RQ1 構造化ドロップアウト（DropBlock）はCNNの正規化において従来のドロップアウトより優れているか？
• RQ2 どのブロックサイズとスケジューリング戦略が、アーキテクチャやタスク全体で最高の性能をもたらすのか？
• RQ3 残差ネットワークにおけるSkip接続へのDropBlock適用は有益か？
• RQ4 画像分類を超える多様なビジョンタスク（例：物体検出、セグメンテーション）でDropBlockは性能を改善できるか？

主な発見

モデル	top-1 (%)	top-5 (%)
ResNet-50	76.51	93.20
ResNet-50 + dropout (kp=0.7)	76.80	93.41
ResNet-50 + DropPath (kp=0.9)	77.10	93.50
ResNet-50 + SpatialDropout (kp=0.9)	77.41	93.74
ResNet-50 + Cutout	76.52	93.21
ResNet-50 + AutoAugment	77.63	93.82
ResNet-50 + label smoothing (0.1)	77.17	93.45
ResNet-50 + DropBlock (kp=0.9)	78.13	94.02
ResNet-50 + DropBlock (kp=0.9) + label smoothing (0.1)	78.35	94.15
AmoebaNet-B (6, 256)	82.25	95.88
AmoebaNet-B (6, 256) + DropBlock	82.52	96.07

• DropBlockはResNet-50を用いたImageNetでドロップアウトおよびSpatialDropoutを一貫して上回り、トップ1精度が78.13%（kp=0.9）で、ベースラインの76.51%を上回る。
• スケジューリングとSkip接続への適用を組み合わせたDropBlockはさらなる向上をもたらし、ラベル平滑化を用いてトップ1が78.35%に。
• AmoebaNet-B (6, 256) では、トップ1精度が82.25%から82.52%へ向上。
• RetinaNetを用いたCOCO物体検出で、APが36.8%から38.4%へ向上。
• PASCAL VOCのセマンティックセグメンテーションにDropBlockをスクラッチから適用するとmIOUが改善され、例としてblock_size=16で53.4%対してDropBlockなしは47.2%。