[論文レビュー] SaliencyMix: A Saliency Guided Data Augmentation Strategy for Better Regularization

A. F. M. Shahab Uddin, Mst. Sirazam Monira+3 more|arXiv (Cornell University)|Jun 2, 2020

Advanced Neural Network Applications参考文献 54被引用数 92

ひとこと要約

SaliencyMix はサリエンシーマップを用いて情報量の多いパッチを選択し、それをターゲット画像に混合して学習を導くことで、一般化性能、頑健性、物体検出への転移を改善します。 CIFAR と ImageNet で最先端の結果を達成し、事前学習に用いると Faster R-CNN の性能を向上させます。

ABSTRACT

Advanced data augmentation strategies have widely been studied to improve the generalization ability of deep learning models. Regional dropout is one of the popular solutions that guides the model to focus on less discriminative parts by randomly removing image regions, resulting in improved regularization. However, such information removal is undesirable. On the other hand, recent strategies suggest to randomly cut and mix patches and their labels among training images, to enjoy the advantages of regional dropout without having any pointless pixel in the augmented images. We argue that such random selection strategies of the patches may not necessarily represent sufficient information about the corresponding object and thereby mixing the labels according to that uninformative patch enables the model to learn unexpected feature representation. Therefore, we propose SaliencyMix that carefully selects a representative image patch with the help of a saliency map and mixes this indicative patch with the target image, thus leading the model to learn more appropriate feature representation. SaliencyMix achieves the best known top-1 error of 21.26% and 20.09% for ResNet-50 and ResNet-101 architectures on ImageNet classification, respectively, and also improves the model robustness against adversarial perturbations. Furthermore, models that are trained with SaliencyMix help to improve the object detection performance. Source code is available at https://github.com/SaliencyMix/SaliencyMix.

研究の動機と目的

• 背景ノイズと情報量の多いパッチを混ぜてしまうことを回避するため、データ拡張の改善を動機づける。
• サリエンシー駆動のパッチ選択メカニズムを提案し、画像の混合を誘導する。
• 分類精度の向上、対敵対的撹乱への頑健性の向上、物体検出への転移を実証する。

提案手法

• Montabone & Soto 2010 のサリエンシー検出器を用いて、源画像のサリエンシーマップを抽出する。
• オブジェクト関連情報が保持されるよう、最も顕著なサリエンシ領域の周辺パッチを選択する。
• 選択したパッチを二値マスクと対応するラベル補間 y_a = λ y_t + (1−λ) y_s でターゲット画像に混合する。
• トレーニング時のデータ拡張としてこの混合を用い、モデルを正則化する。
• ResNet および WideResNet をバックボーンとする CIFAR-10/100、ImageNet、物体検出（Faster R-CNN）で評価する。

実験結果

リサーチクエスチョン

• RQ1 サリエンシー駆動のパッチ選択は、ランダムなパッチ選択（例: CutMix）と比べて正則化を改善するか？
• RQ2 標準のアーキテクチャにおいて、SaliencyMix は CIFAR および ImageNet の top-1 / top-5 精度にどのような影響を与えるか？
• RQ3 SaliencyMix で学習したモデルは Faster R-CNN へ転移した際に物体検出性能を改善できるか？
• RQ4 他のデータ拡張法と比べて SaliencyMix は adversarial perturbations への頑健性を高めるか？

主な発見

• SaliencyMix は WideResNet-28-10 で CIFAR-10 の top-1 エラー 2.76%、CIFAR-100 の top-1 エラー 16.56% を達成し、複数のベースラインを上回る。
• ImageNet では ResNet-50 で top-1 21.26%、top-5 5.76%、ResNet-101 で top-1 20.09%、top-5 5.15% を達成し、複数のデータ拡張法を上回る。
• SaliencyMix で学習したモデルは pre-training に用いると Pascal VOC で Faster R-CNN の検出性能を +1.77 mAP 向上させる。
• SaliencyMix は adversarial perturbations に対する頑健性を高め、 adversarially perturbed ImageNet の検証セットで CutMix より 1.96 ポイントの精度向上を示す。
• SaliencyMix はサリエンシーマップ計算による計算オーバーヘッドをわずかに伴うが、 substantial な性能向上をもたらす。