[論文レビュー] A Simple Cache Model for Image Recognition

A. Emin Orhan|arXiv (Cornell University)|May 21, 2018

Adversarial Robustness in Machine Learning参考文献 17被引用数 8

ひとこと要約

この論文では、出力に近い中間層からのクラス関連特徴を活用することで、再訓練を必要とせずテスト時に事前学習済み画像認識モデルの性能を向上させる、シンプルでトレーニングフリーのキャッシュ機構を提案する。正規化された特徴表現をキーとして、ワンホットエンコードされたラベルを値として保持し、ネットワークのソフトマックス出力と重み付き融合することで、再訓練なしに複数のアーキテクチャおよびデータセットで顕著な精度向上を達成するとともに、 adversarial 攻撃に対しても耐性が向上する。

ABSTRACT

Training large-scale image recognition models is computationally expensive. This raises the question of whether there might be simple ways to improve the test performance of an already trained model without having to re-train or fine-tune it with new data. Here, we show that, surprisingly, this is indeed possible. The key observation we make is that the layers of a deep network close to the output layer contain independent, easily extractable class-relevant information that is not contained in the output layer itself. We propose to extract this extra class-relevant information using a simple key-value cache memory to improve the classification performance of the model at test time. Our cache memory is directly inspired by a similar cache model previously proposed for language modeling (Grave et al., 2017). This cache component does not require any training or fine-tuning; it can be applied to any pre-trained model and, by properly setting only two hyper-parameters, leads to significant improvements in its classification performance. Improvements are observed across several architectures and datasets. In the cache component, using features extracted from layers close to the output (but not from the output layer itself) as keys leads to the largest improvements. Concatenating features from multiple layers to form keys can further improve performance over using single-layer features as keys. The cache component also has a regularizing effect, a simple consequence of which is that it substantially increases the robustness of models against adversarial attacks.

研究の動機と目的

• 再訓練やファインチューニングを伴わず、事前学習済み画像認識モデルのテスト時性能を向上させること。
• 学習データに十分に表現されていないが特徴的でまれな特徴をキャッシュに格納することで、その課題に対処すること。
• キャッシュ機構の正則化効果により、adversarial 攻撃に対するモデルの耐性を向上させること。
• 任意の事前学習済みモデルと互換性があり、2つのハイパーパrameterのみを必要とする、即挿し可能なソリューションを提供すること。

提案手法

• キャッシュはキーと値のペairで構成され、キーは出力層に近い1つ以上の層からの正規化済みで連結された活性化値であり、値はワンホットエンコードされたクラスラベルである。
• テスト入力に対しては、温度調整付きドット積（式1）を用いてその表現とキャッシュされたキー間の類似度スコアを計算する。
• キャッシュされた値の重み付き平均がメモリベースの予測分布を生成する（式2）、この出力をネットワークの元のソフトマックス出力と融合する（式3）。
• 融合はハイパーパrameter λ で制御され、類似度の鋭さは θ で制御され、両者とも検証データ上でグリッドサーチにより最適化される。
• キーは訓練済みネットワークから、学習データのサブセットを用いて抽出され、キャッシュやメインネットワークに対しては追加の訓練が一切行われない。
• この手法は推論後処理として適用されるため、アーキテクチャに依存せず、容易にデプロイ可能である。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み画像分類器が再訓練やファインチューニングなしにテスト時性能を向上させられるか。
• RQ2 中間層特徴をキャッシュに格納することで、特にまれまたは特徴的な特徴の一般化性能が向上するか。
• RQ3 シンプルなキー・バリュー・キャッシュが adversarial 例に対する耐性を向上させられるか。
• RQ4 層の選択や特徴の組み合わせがキャッシュ性能に与える影響は何か。
• RQ5 キャッシュサイズとハイパーパrameterチューニングの精度および耐性への影響は何か。

主な発見

• キャッシュモデルは、ベースラインモデルに対してCIFAR-10では最大4.29%、CIFAR-100では最大6.49%のトップ1精度向上を達成した。
• 出力層に近い層（例：ResNetの層3）からの特徴を用いることで最大の性能向上が得られ、それより前の層を用いるよりも優れた性能を示した。
• 複数の層からの特徴を連結することで、単一層のキーに比べて性能が向上し、特に最後の数層を組み合わせた場合に最良の結果が得られた。
• キャッシュのみのバージョン（λ = 1）では、ResNet20を用いてCIFAR-10で11.87%、CIFAR-100で39.18%のトップ1精度を達成し、強力な一般化性能を示した。
• FGSMおよびPGD攻撃に対して、キャッシュ機構がモデルの入力空間挙動に正則化効果をもたらし、顕著な耐性向上を示した。
• この手法は複数のアーキテクチャ（ResNet20, 32, 56）およびデータセット（ImageNet含む）で有効であり、一貫した性能向上が観察された。