[論文レビュー] The Effect of Learning Strategy versus Inherent Architecture Properties on the Ability of Convolutional Neural Networks to Develop Transformation Invariance

Megha Srivastava, Kalanit Grill‐Spector|arXiv (Cornell University)|Oct 31, 2018

Adversarial Robustness in Machine Learning被引用数 6

ひとこと要約

本研究では、深層ネットワークにおける空間変換不変性の背後にある要因が、事前学習か、CNNアーキテクチャそのものの性質のどちらであるかを調査する。制御された顔データセットを用いて、AlexNet、VGG、ResNetなどの7種類のCNNを、さまざまな事前学習戦略のもとで比較し、位置、サイズ、回転、ぼかし、リサンプリングに起因する解像度低下の5つの変換に対してその耐性を評価する。主な発見は、大規模で多様なデータセットでの事前学習が、不変性を実現する上で主要因であることであり、ResNetは回転に対して、VGGはスケーリングに対してそれぞれ優れた耐性を示す一方、AlexNetはほとんどの変換に対して最も脆弱である。

ABSTRACT

As object recognition becomes an increasingly common ML task, and recent research demonstrating CNNs vulnerability to attacks and small image perturbations necessitate fully understanding the foundations of object recognition. We focus on understanding the mechanisms behind how neural networks generalize to spatial transformations of complex objects. While humans excel at discriminating between objects shown at new positions, orientations, and scales, past results demonstrate that this may be limited to familiar objects - humans demonstrate low tolerance of spatial-variances for purposefully constructed novel objects. Because training artificial neural networks from scratch is similar to showing novel objects to humans, we seek to understand the factors influencing the tolerance of CNNs to spatial transformations. We conduct a thorough empirical examination of seven Convolutional Neural Network (CNN) architectures. By training on a controlled face image dataset, we measure model accuracy across different degrees of 5 transformations: position, size, rotation, Gaussian blur, and resolution transformation due to resampling. We also examine how learning strategy affects generalizability by examining how different amounts of pre-training have on model robustness. Overall, we find that the most significant contributor to transformation invariance is pre-training on a large, diverse image dataset. Moreover, while AlexNet tends to be the least robust network, VGG and ResNet architectures demonstrate higher robustness for different transformations. Along with kernel visualizations and qualitative analyses, we examine differences between learning strategy and inherent architectural properties in contributing to invariance of transformations, providing valuable information towards understanding how to achieve greater robustness to transformations in CNNs.

研究の動機と目的

• 学習戦略（例：事前学習）と固有のアーキテクチャ的性質の両者が、CNNにおける変換不変性に果たす相対的寄与を理解すること。
• AlexNet、VGG、ResNetなどの異なるCNNアーキテクチャが、顔のような複雑な物体の未観測の空間的変換にどの程度一般化できるかを評価すること。
• 大規模で多様なデータセットでの事前学習が、位置、サイズ、回転、解像度変化などの空間的変動に対する頑健性を達成するために不可欠であるかどうかを調査すること。
• 微調整による事前学習層の最適化と、初期化をランダムにした学習の影響を比較し、モデルの一般化性能に与える影響を評価すること。
• 人工ニューラルネットワークの不変性と、人間の視覚系が生じない物体に対してどのように類似した性能を示すかを検討すること。

提案手法

• 空間的変動が固定された制御された顔画像データセット上で、7種類の既存のCNNアーキテクチャ（AlexNet、VGG、ResNet、SqueezeNetなど）を訓練する。
• 転移学習を用いて、3つの学習戦略を実装する：ImageNetの事前学習済み重みを微調整する、事前学習済み層を固定する、初期化をランダムにした学習から開始する。
• 変換の種類ごとのモデル精度を、トランスレーション、スケーリング、回転、ガウスノイズ、リサンプリングに起因する解像度低下の5つに対して評価する。
• カーネル可視化と定性的分析を用いて、異なる学習戦略とアーキテクチャ間での特徴学習の違いを検討する。
• 訓練条件を同一にした状態でモデルを比較するアブレーションスタディを実施し、事前学習とアーキテクチャの影響を分離する。
• すべてのアーキテクチャと学習手法において、訓練曲線（損失と正答率 vs. エポック）を収集・分析し、検証および比較に用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なデータセットでの事前学習が、アーキテクチャ設計と比較して、CNNにおける変換不変性にどの程度寄与するか。
• RQ2 異なるCNNアーキテクチャ（例：ResNet対AlexNet）は、未観測の空間的変換に一般化する能力に、どの程度差を示すか。
• RQ3 事前学習済み層を微調整することが、初期化をランダムにした学習よりも空間的変換に対して頑健性を高めるか。
• RQ4 事前学習済み層を固定する場合と微調整する場合とで、第1層のフィルタがどのように異なるか、そしてそれが特徴学習にどのような意味を持つのか。
• RQ5 複数の空間的変動（例：2つの位置／サイズ）を学習中に経験することで、事前学習なしでも不変性が向上するか。

主な発見

• ImageNetのような大規模で多様なデータセットでの事前学習が、CNNにおける変換不変性を実現する上で最も重要な要因であり、初期化をランダムにした学習を大きく上回る。
• ResNetアーキテクチャは、回転およびスケーリングの変動に対して優れた耐性を示し、他のモデルを上回る性能を発揮する。
• VGGネットワークは、特に事前学習済みの場合、サイズおよび解像度の変化に対して高い不変性を示す。これは、スケーリングとぼかし処理に強いアーキテクチャ的特徴を示している。
• AlexNetは、回転および解像度変化の両方において、事前学習済みであっても、ほとんどの変換に対して最も脆弱である。
• 事前学習済み層を固定すると、微調整と比較して、第1層のフィルタがより適応的でなくなる。これは、特徴抽出のための継続的な学習が重要であることを示唆している。
• 複数の空間的変動を経験しても、事前学習なしで学習を開始した場合、低レベルの耐性にとどまる。これは、多様な空間的配置の経験だけでは不十分であり、事前学習が不可欠であることを示している。