[論文レビュー] PatchShuffle Regularization

Guoliang Kang, Xuanyi Dong+2 more|arXiv (Cornell University)|Jul 22, 2017

Neural Networks and Applications被引用数 62

ひとこと要約

PatchShuffle は CNN の正則化手法で、訓練中に画像または特徴マップの局所パッチ内の画素をランダムにシャッフルし、局所的な変動と頑健性を提供します。計算量を大幅に増やすことなく。他の正則化手法を補完し、特にデータが乏しい場合の一般化を改善します。

ABSTRACT

This paper focuses on regularizing the training of the convolutional neural network (CNN). We propose a new regularization approach named ``PatchShuffle`` that can be adopted in any classification-oriented CNN models. It is easy to implement: in each mini-batch, images or feature maps are randomly chosen to undergo a transformation such that pixels within each local patch are shuffled. Through generating images and feature maps with interior orderless patches, PatchShuffle creates rich local variations, reduces the risk of network overfitting, and can be viewed as a beneficial supplement to various kinds of training regularization techniques, such as weight decay, model ensemble and dropout. Experiments on four representative classification datasets show that PatchShuffle improves the generalization ability of CNN especially when the data is scarce. Moreover, we empirically illustrate that CNN models trained with PatchShuffle are more robust to noise and local changes in an image.

研究の動機と目的

• 訓練データが限られている場合にCNNの過学習を抑制するための正則化の動機付け。
• PatchShuffle を画像と特徴マップの両方に適用可能な、軽量で転用可能な正則化手法として導入する。
• PatchShuffle が既存の正則化手法を補完し、ノイズや遮蔽に対する頑健性を向上させることを示す。
• 複数のデータセットとアーキテクチャで改善を示す。

提案手法

• PatchShuffle を、しきい値 epsilon の確率で適用される確率的変換として定義し、画像/特徴マップを保持するか、非重複の n x n パッチ内の画素をシャッフルする。
• PatchShuffle を入力画像と畳み込み層全体の特徴マップに適用し、各パッチを独立した乱択順列として扱う。
• 訓練目的を混合としてモデル化する: Ls(X,y,θ) = (1−r)L(X,y,θ) + rL(T(X),y,θ) ただし r ~ Bernoulli(epsilon)。
• PatchShuffle をモデル平均化とパッチ内の重み共有に関連付け、隠れユニットを捨てることなく正則化効果を提供する。
• 特徴マップに PatchShuffle を適用するアルゴリズムと、保存されたパッチ置換インデックスによる逆伝播の勾配マッピングを提供する。
• Hp x Wp のパッチサイズとシャッフル確率 ε を用いた実験を行い、CIFAR-10、SVHN、STL-10、 MNIST で検証する。

実験結果

リサーチクエスチョン

• RQ1 PatchShuffle は標準の画像分類ベンチマークにおけるCNNの一般化を改善するか。
• RQ2 パッチサイズとシャッフル確率は性能とバイアス–分散のトレードオフにどのように影響するか。
• RQ3 PatchShuffle は入力画像に適用した場合と中間の特徴マップに適用した場合、あるいはその両方で有効か。
• RQ4 PatchShuffle は画像のノイズや遮蔽に対する頑健性を高めるか。
• RQ5 PatchShuffle は他の正則化手法（ドロップアウト、ウェイト減衰、バッチ正規化 など）とどのように相互作用するか。

主な発見

• PatchShuffle は CIFAR-10 で NIN や ResNet 系統などの CNN アーキテクチャにおいて、標準の誤差逆伝播より一貫して精度を向上させる。
• CIFAR-10 では、選択された設定下で PatchShuffle が標準 BP より最大で 0.67 ポイントの誤差低減を達成。
• 特徴マップ（高位層を含む）に PatchShuffleを適用すると顕著な改善が得られ、より多くの層に適用すると STL-10 でより大きな改善が得られる。
• PatchShuffle は MNIST における塩胡椒ノイズと遮蔽に対する頑健性を向上させ、ノイズが増えるほどパフォーマンスの差が大きくなる。
• PatchShuffle は広いハイパーパラメータ範囲で有効のままであり、最適な結果は小さなパッチサイズ（例: 2x2）と控えめなシャッフル確率（例: ε ≈ 0.05）で得られる。
• データ拡張だけと比較して、PatchShuffle は正則化として機能し、他の正則化技術を補完し、トレーニングデータ量を増やすことなく実行されることが多い。