[論文レビュー] PatchUp: A Regularization Technique for Convolutional Neural Networks

Mojtaba Faramarzi, Mohammadreza Amini+3 more|arXiv (Cornell University)|Jun 14, 2020

Adversarial Robustness in Machine Learning参考文献 13被引用数 17

ひとこと要約

PatchUp は、畳み込みニューラルネットワーク（CNN）におけるブロックレベルの正則化手法であり、隠れ層で2つのランダムな訓練サンプルからの連続する特徴マップブロックを混合することで、一般化性能とロバスト性を向上させる。Mixup や CutMix で見られる多様体侵入問題を軽減し、CIFAR-10、CIFAR-100、SVHN で最先端の性能を達成するとともに、アフィン変換や adversarial 攻撃に対してより高いロバスト性を示す。

ABSTRACT

Large capacity deep learning models are often prone to a high generalization gap when trained with a limited amount of labeled training data. A recent class of methods to address this problem uses various ways to construct a new training sample by mixing a pair (or more) of training samples. We propose PatchUp, a hidden state block-level regularization technique for Convolutional Neural Networks (CNNs), that is applied on selected contiguous blocks of feature maps from a random pair of samples. Our approach improves the robustness of CNN models against the manifold intrusion problem that may occur in other state-of-the-art mixing approaches like Mixup and CutMix. Moreover, since we are mixing the contiguous block of features in the hidden space, which has more dimensions than the input space, we obtain more diverse samples for training towards different dimensions. Our experiments on CIFAR-10, CIFAR-100, and SVHN datasets with PreactResnet18, PreactResnet34, and WideResnet-28-10 models show that PatchUp improves upon, or equals, the performance of current state-of-the-art regularizers for CNNs. We also show that PatchUp can provide better generalization to affine transformations of samples and is more robust against adversarial attacks.

研究の動機と目的

• 限られたラベル付きデータで学習する深層 CNN の一般化ギャップを低減すること。
• Mixup や CutMix などの既存のデータ混合手法に内在する多様体侵入問題を軽減すること。
• アフィン変換や adversarial 攻撃に対してモデルのロバスト性を向上させること。
• 入力空間ではなく、高次元の隠れ特徴空間での混合がもたらす利点を調査すること。
• ブロックレベルの特徴混合を通じて多様性と一般化性能を向上させる正則化手法を開発すること。

提案手法

• PatchUp は2つのランダムな訓練サンプルを選択し、隠れ層でそれぞれから連続する特徴マップブロックをランダムに抽出する。
• 抽出された2つの特徴マップブロックを要素ごとの平均化により混合し、新たな混合サンプルを生成する。
• 混合処理は特徴マップレベルで実行され、入力ピクセルではなく高次元の隠れ表現を対象としている。
• この手法は学習中に適用され、アーキテクチャの変更や標準的な学習を超える追加のハイパーパrameterが不要である。
• 混合ブロック内での空間的整合性を保持することで、パッチベースの混合手法で一般的に生じるアーティファクトを回避する。
• 隠れ層の豊富な表現能力を活用して、より多様で意味的に意味のある訓練サンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 入力空間の混合手法と比較して、隠れ空間におけるブロックレベルの特徴マップ混合が、CNN の一般化性能を向上させ得るか？
• RQ2 PatchUp は Mixup や CutMix と比較して、多様体侵入問題に対してどのようにロバストか？
• RQ3 高次元特徴空間での混合は、分布シフトやアフィン変換下でもより良い一般化をもたらすか？
• RQ4 PatchUp は、ベースラインの正則化手法と比較して、 adversarial 攻撃に対するロバスト性をどの程度向上させるか？
• RQ5 PatchUp はアーキテクチャの変更なしに、複数のベンチマークデータセットで最先端の性能を達成できるか？

主な発見

• PatchUp は、CIFAR-10、CIFAR-100、SVHN データセットで、最先端の正則化手法と同等またはそれ以上の性能を達成した。
• アフィン変換下でも一般化性能が向上し、幾何的摂動に対してより強い不変性を示した。
• 標準的な学習やベースラインのデータ拡張手法と比較して、PatchUp は adversarial 攻撃に対してより高いロバスト性を示した。
• 特にラベル付きデータが限られた状況下で、Mixup や CutMix よりも PatchUp で学習したモデルの一般化性能が優れていた。
• 隠れ層での連続ブロック混合の採用により、多様体侵入問題が軽減され、より安定的で意味的なデータ補間が実現した。