[論文レビュー] DropCluster: A structured dropout for convolutional networks

Liyan Chen, Philip Gautier+1 more|arXiv (Cornell University)|Feb 7, 2020

Advanced Neural Network Applications参考文献 30被引用数 7

ひとこと要約

DropClusterは、畳み込みニューラルネットワークにおけるデータ駆動型構造的ドロップアウト手法であり、特徴マップ内の相関する特徴の空間的クラスタを学習し、訓練中に全クラスタをドロップすることで正則化を向上させる。CIFAR-100およびTiny ImageNetにおいて、DropBlockおよび他の構造的ドロップアウト変種を上回り、より高い精度、小規模な訓練データに対する頑健性、敵対的訓練なしのデータの汚染に対する耐性を示す。

ABSTRACT

Dropout as a common regularizer to prevent overfitting in deep neural networks has been less effective in convolutional layers than in fully connected layers. This is because Dropout drops features randomly, without considering local structure. When features are spatially correlated, as in the case of convolutional layers, information from the dropped features can still propagate to subsequent layers via neighboring features. To address this problem, structured forms of Dropout have been proposed. A drawback of these methods is that they do not adapt to the data. In this work, we leverage the structure in the outputs of convolutional layers and introduce a novel structured regularization method named DropCluster. Our approach clusters features in convolutional layers, and drops the resulting clusters randomly during training iterations. Experiments on CIFAR-10/100, SVHN, and APPA-REAL datasets demonstrate that our approach is effective and controls overfitting better than other approaches.

研究の動機と目的

• 空間的特徴相関のため、従来のドロップアウトが畳み込み層で限定的であることを解決する。
• 固定構造正則化子（例：DropBlock）の限界を克服する。これらは硬直的かつ非適応的なドロップパターンを用いる。
• データの不足や分布シフト下でもモデルの一般化性能と頑健性を向上させるために、動的かつデータに適応するクラスタ構造を学習する。
• 訓練中にモデル重みとデータ分布の両方に適応する手法を開発し、CNNにおける正則化を強化する。

提案手法

• 畳み込み層の活性化における空間的相関特徴クラスタを特定するために、再帰的最近接凝集（ReNA）クラスタリングを適用する。
• 訓練中に定期的にクラスタを学習・更新し、進化する特徴表現とデータパターンに適応する。
• 訓練中に全特徴クラスタをドロップすることで、冗長で相関する情報を遮断し、一般化性能を向上させる。
• 明確なクラスタ構造が検出されないチャネルについては、全チャネルをドロップして過学習を防ぐ。
• 特徴マップにおけるクラスタ傾向を、クラスタリングアルゴリズムやクラスタ数に依存せずに定量的に評価するため、空間ホプキンス統計量を用いる。
• 標準的な訓練プロトコルに従い、ResNet-50アーキテクチャに本手法を統合し、複数のデータセットおよび設定で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 固定構造の代替手法と比較して、データ駆動型で適応可能な構造的ドロップアウト手法は、畳み込みニューラルネットワークにおける一般化性能を向上させることができるか？
• RQ2 小規模な訓練データ環境下で、DropClusterの性能はDropBlockおよびStochasticDepthと比べてどの程度優れているか？
• RQ3 ガウスノイズやぼかしの一般的なデータ汚染に対して、DropClusterはどの程度の頑健性を示すか？
• RQ4 データに適応するクラスタリング機構を用いることで、アーキテクチャに起因するまたは固定パターンのドロップアウトと比較して、より良い一般化性能が得られるか？
• RQ5 空間ホプキンス統計量は、異なるレイヤーおよびデータセットにおいて、特徴マップにおけるクラスタ傾向を信頼性高く検出できるか？

主な発見

• 完全な訓練データを用いたTiny ImageNetでは、DropClusterはTop-1精度66.26%を達成し、DropBlock（65.59%）および他のすべてのベースラインを上回った。
• 小規模な訓練データ環境下でも、DropClusterは優れた頑健性を示し、10%の訓練データでTop-1精度57.92%を達成した。これに対してStochasticDepthは29.04%であった。
• 汚染度レベル1の環境下で、ガウスノイズに対してDropClusterはTop-1精度62.57%を達成し、DropBlock（61.25%）およびStochasticDepth（62.08%）を上回った。
• DropClusterは、すべての汚染タイプにおいてTop-5精度で一貫した向上を示し、特にデフォーカスブラー（78.94%）およびガラスブラー（75.23%）で最高スコアを記録した。
• 空間ホプキンス統計量により、特徴マップに顕著なクラスタ傾向が確認され、クラスタリングに基づく正則化の妥当性が裏付けられた。
• 敵対的訓練なしでも、DropClusterは代替手法よりも優れた一般化性能を示し、分布シフトやデータ汚染に対する本質的な頑健性を示した。