[論文レビュー] Pure Noise to the Rescue of Insufficient Data: Improving Imbalanced Classification by Training on Random Noise Images

Shiran Zada, Itay Benou+1 more|arXiv (Cornell University)|Dec 16, 2021

COVID-19 diagnosis using AI被引用数 11

ひとこと要約

本稿では、自然画像と純粋なランダムノイズ画像の両方を用いて深層ニューラルネットワークを訓練することで、クラスが不均衡な画像分類の性能を向上させるシンプルでありながら効果的な手法OPeNを提案する。新規の分布に配慮したルーティングバッチ正規化（DAR-BN）層を用いることで、自然画像とノイズの間の分布シフトを軽減し、一般化性能を著しく向上させ、CIFAR-10-LT、CIFAR-100-LT、ImageNet-LT、CelebA-5といった長尾ベンチマークで最先端の性能を達成する。

ABSTRACT

Despite remarkable progress on visual recognition tasks, deep neural-nets still struggle to generalize well when training data is scarce or highly imbalanced, rendering them extremely vulnerable to real-world examples. In this paper, we present a surprisingly simple yet highly effective method to mitigate this limitation: using pure noise images as additional training data. Unlike the common use of additive noise or adversarial noise for data augmentation, we propose an entirely different perspective by directly training on pure random noise images. We present a new Distribution-Aware Routing Batch Normalization layer (DAR-BN), which enables training on pure noise images in addition to natural images within the same network. This encourages generalization and suppresses overfitting. Our proposed method significantly improves imbalanced classification performance, obtaining state-of-the-art results on a large variety of long-tailed image classification datasets (CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT, Places-LT, and CelebA-5). Furthermore, our method is extremely simple and easy to use as a general new augmentation tool (on top of existing augmentations), and can be incorporated in any training scheme. It does not require any specialized data generation or training procedures, thus keeping training fast and efficient.

研究の動機と目的

• 少数クラスに極めて少ないサンプルしか存在しない場合に顕著に現れる、高度に不均衡なデータセットで学習された深層学習モデルの一般化性能の低さという課題に対処すること。
• 再重み付けやリサンプリングといった従来の手法の限界、特に過学習や情報損失を引き起こす可能性を克服すること。
• これまで無価値と見なされてきた純粋なランダムノイズ画像が、モデルのロバスト性と一般化性能を向上させるための有効なデータ拡張として機能しうるかを検証すること。
• 自然画像と純粋なノイズ画像の分布の違いに対応できる新しい正規化技術の開発により、両者のデータドメインで安定した学習を可能にすること。

提案手法

• 各クラスに、クラス頻度の逆数に比例する固定数の純粋なランダムノイズ画像を訓練セットに追加するOPeN（Pure Noise Imagesを用いたオーバーサンプリング）を導入する。
• 自然画像と純粋なノイズ画像の両方に別々の正規化統計を適用する、新しいバッチ正規化層である分布に配慮したルーティングバッチ正規化（DAR-BN）を提案する。
• 自然画像の活性化から学習されたアフィンパラメータ（gammaとbeta）を用いて、ノイズ画像の活性化を変換することで、スケーリングとシフトの整合性を保証する。
• 標準的な交差エントロピー損失を用いて、実画像と純粋なノイズ画像を含む混合バッチでモデルを訓練する。ノイズは、訓練セットの平均と分散に一致するガウス分布からサンプリングする。
• 従来のデータ拡張パイプラインと互換性があるプラグイン型の拡張手法としてOPeNを統合し、標準的なBNをDAR-BNに置き換える以外に、訓練手順の変更は不要である。
• 各訓練バッチでノイズ画像と実画像の比率を1:4に設定し、ネットワークが過剰にノイズに影響を受けるのを防ぎつつ、十分なノイズ表現を確保する。

実験結果

リサーチクエスチョン

• RQ1 純粋なランダムノイズ画像の学習が、長尾データセットにおける少数クラスに特に効果的である一般化性能の向上に寄与するか。
• RQ2 自然画像と純粋なノイズ画像の間の分布シフトがモデル学習を妨げるか、そしてそれが効果的に軽減可能か。
• RQ3 OPeNは、クラス不均衡な画像分類ベンチマークにおいて、既存の最先端手法と比較して精度とロバスト性の面で優れているか。
• RQ4 純粋なノイズ画像は、不均衡な設定に限らず、一般のデータ拡張手法として機能しうるか。
• RQ5 提案されたDAR-BN層は、同じネットワーク内で2つの異なるデータドメイン（自然画像対ノイズ）を安定して処理できるか。

主な発見

• OPeNはCIFAR-10-LT（IR=100）で84.64%の精度を達成し、標準的なBNより3.2%高い最先端の性能を示した。
• CIFAR-100-LT（IR=100）では51.50%の精度を達成し、標準BNより2.3%、補助BNより1.37%高い性能を示した。
• 一般の拡張手法として用いた場合、ベースライン拡張よりCIFAR-10で+2.38%、CIFAR-100で+6.34%の精度向上を達成し、AutoAugmentよりそれぞれ+0.9%と+1.5%の向上を示した。
• アブレーションスタディにより、DAR-BNは標準BNおよび補助BNを著しく上回り、ドメインシフトの処理における有効性が裏付けられた。
• 本手法はシンプルで効率的であり、特別なデータ生成や訓練手順を必要とせず、既存のあらゆる訓練パイプラインに容易に統合可能である。
• OPeNの成功は、純粋なノイズが一般化性能を向上させる強力で未利用のデータ拡張法である可能性を示しており、バランスの取れたデータセットに対しても有効である。