[論文レビュー] Does enhanced shape bias improve neural network robustness to common corruptions?

Chaithanya Kumar Mummadi, Ranjitha Subramaniam+4 more|arXiv (Cornell University)|Apr 20, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 15

ひとこと要約

この論文は、強化された形状バイアスが、一般的な画像劣化に対して深層ニューラルネットワークのロバスト性を向上させるかどうかを調査している。エッジマップと画像スタイル化によるデータ拡張を用いて、著者たちは、形状バイアスが向上しても、劣化ロバスト性は主に強力なデータ拡張、特にスタイル化に起因しており、形状バイアス自体は因果要因ではなく、副次的要因であることを発見した。

ABSTRACT

Convolutional neural networks (CNNs) learn to extract representations of complex features, such as object shapes and textures to solve image recognition tasks. Recent work indicates that CNNs trained on ImageNet are biased towards features that encode textures and that these alone are sufficient to generalize to unseen test data from the same distribution as the training data but often fail to generalize to out-of-distribution data. It has been shown that augmenting the training data with different image styles decreases this texture bias in favor of increased shape bias while at the same time improving robustness to common corruptions, such as noise and blur. Commonly, this is interpreted as shape bias increasing corruption robustness. However, this relationship is only hypothesized. We perform a systematic study of different ways of composing inputs based on natural images, explicit edge information, and stylization. While stylization is essential for achieving high corruption robustness, we do not find a clear correlation between shape bias and robustness. We conclude that the data augmentation caused by style-variation accounts for the improved corruption robustness and increased shape bias is only a byproduct.

研究の動機と目的

• 畳み込みニューラルネットワーク（CNN）における形状バイアスの増加が、ぼかしやノイズなどの一般的な画像劣化に対してロバスト性が向上するかどうかをテストすること。
• 形状バイアスとデータ拡張の両者が、劣化ロバスト性の向上に与える影響を分離すること。
• 形状ベースの表現が本質的にロバストであるのか、それとも拡張によって導入される広範なデータ分布の多様性に起因するのかを評価すること。
• 正規化層の適応が、再訓練なしにロバスト性を向上させられるかを調査し、内部表現の適応可能性を示唆すること。

提案手法

• ImageNetの画像から得られるエッジマップ上でCNNを事前学習し、形状ベースの特徴学習を促進するとともに、テクスチャの手がかりを抑制すること。
• ニューラルスタイル転送を用いてテクスチャを変更しながら、構造的な形状情報を保持すること。
• エッジマップとスタイル化を組み合わせ、テクスチャ情報を排除した入力を生成し、形状バイアスを最大限に高めること。
• 正規化層のアフィンパラメータを一様分布からサンプリングすることで、スタイルランダム化を導入し、さらに形状バイアスを強化すること。
• ImageNet-Cベンチマーク上でモデルを評価し、複数の劣化タイプと深刻度におけるロバスト性を測定すること。
• 腐敗したImageNet-Cデータ上で、正規化層のアフィンパラメータのみを微調整し、内部表現の適応可能性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 エッジベースまたはスタイル化ベースのデータ拡張によって形状バイアスを高めることで、一般的な画像劣化に対するロバスト性が向上するか？
• RQ2 観察された劣化ロバスト性の向上は、形状バイアスの向上によるものか、それともスタイル化に起因する広範なデータ拡張によるものか？
• RQ3 正規化層のパラメータのみを微調整することで、腐敗したデータに対するロバスト性が向上するか？ これは、ロバストな表現がネットワークの内部特徴に埋め込まれていることを示唆するか？
• RQ4 自然画像、エッジマップ、スタイル化画像、およびそれらの組み合わせといった、異なる入力構成が形状バイアスおよび劣化ロバスト性にどのように影響するか？

主な発見

• エッジマップ上で事前学習すると形状バイアスは顕著に向上するが、劣化ロバスト性は向上せず、形状バイアスがロバスト性を駆動するという仮説に反する。
• スタイル化ベースの拡張（SIN）が最も高い劣化ロバスト性を達成するが、エッジのみの事前学習（E）は高い形状バイアスを示しながらも、性能が低く、スタイル化が主な要因であることが示唆される。
• スタイル化されたエッジの組み合わせ（SE）は最高の形状バイアスを達成するが、SINほどロバスト性が高くないため、自然画像の構造を保持することがロバスト性にとって重要であることが示唆される。
• 自然画像にスタイル化されたエッジを重ねる（SE+IN）と、中程度の形状バイアスとSINよりもわずかに高いロバスト性が得られ、自然画像の構造とスタイル化の組み合わせが一般化を向上させることを示している。
• 畳み込み重みを固定したまま、正規化層のアフィンパラメータのみを微調整すると、すべての劣化タイプで著しくロバスト性が向上し、ロバストな表現がネットワークの正規化層に埋め込まれていることを示している。
• 分布内スタイル転送（intra-stylization）は、分布外スタイル転送とほぼ同等の効果を示し、主な利益は分布シフトそのものではなく、外観の多様性に起因していることが示唆される。