[論文レビュー] Low Rank Structure of Learned Representations.

Amartya Sanyal, Varun Kanade+1 more|arXiv (Cornell University)|Apr 19, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用数 11

ひとこと要約

本論文は、CIFAR-10およびCIFAR-100で訓練されたResNet-18、ResNet-50、VGG-19を対象として、深層ニューラルネットワークにおける学習済み表現の低ランク構造を調査する。低ランクな活性化をネットワークの各層に促進する訓練の修正手法を提案し、精度を損なわずにモデル圧縮性と adversarial な例に対するロバスト性を向上させる。

ABSTRACT

A key feature of neural networks, particularly deep convolutional neural networks, is their ability to learn useful representations from data. The very last layer of a neural network is then simply a linear model trained on these representations. Despite their numerous applications in other tasks such as classification, retrieval, clustering etc., a.k.a. transfer learning, not much work has been published that investigates the structure of these representations or whether structure can be imposed on them during the training process. In this paper, we study the dimensionality of the learned representations by models that have proved highly succesful for image classification. We focus on ResNet-18, ResNet-50 and VGG-19 and observe that when trained on CIFAR10 or CIFAR100 datasets, the learned representations exhibit a fairly low rank structure. We propose a modification to the training procedure, which further encourages low rank representations of activations at various stages in the neural network. Empirically, we show that this has implications for compression and robustness to adversarial examples.

研究の動機と目的

• 最先端の画像分類モデルにおける学習済み表現の組み込み次元数を調査すること。
• ResNet-18、ResNet-50、VGG-19のような深層ネットワークの活性化に低ランク構造が存在するかどうかを特定すること。
• 訓練中に低ランク構造を強制することで、モデルの効率性とロバスト性が向上するかを調査すること。
• 低ランク表現がモデル圧縮性および adversarial 攻撃に対するロバスト性に与える影響を評価すること。

提案手法

• 訓練済みモデルの複数の層における活性化特徴マップの特異値分解（SVD）を分析する。
• 訓練済みモデルの活性化が、特に深層部の層で低ランク構造を示していることを同定する。
• バックプロパゲーション中に特徴マップに低ランク正則化を適用する、修正された訓練手順を導入する。
• ネットワークアーキテクチャを変更せずに、ランク制約最適化を用いて低ランク表現を促進する。
• CIFAR-10およびCIFAR-100データセットにおけるResNet-18、ResNet-50、VGG-19にこの手法を適用する。
• モデル圧縮性および adversarial 攻撃に対するロバスト性への影響を実験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークにおける学習済み表現は、低ランク構造を示すか？
• RQ2 性能を低下させることなく、訓練中に低ランク構造を明示的に促進できるか？
• RQ3 低ランク表現を強制することで、モデル圧縮効率はどのように変化するか？
• RQ4 低ランク表現は adversarial な例に対するロバスト性を向上させるか？
• RQ5 中間活性化のランクと一般化性能の間にどのような関係があるか？

主な発見

• CIFAR-10およびCIFAR-100で訓練されたResNet-18、ResNet-50、VGG-19の学習済み表現は、活性化特徴マップにおいて低ランク構造を示す。
• 提案された訓練の修正により、ネットワークの複数の層にわたり低ランク表現が成功裏に促進された。
• 低ランク正則化を施したモデルは、標準的な訓練と同等の精度を達成しながら、より高い圧縮効率を実現した。
• 低ランク正則化を施したモデルは、ベースラインモデルと比較して adversarial な例に対するロバスト性が向上した。
• 深層部の層において活性化特徴のランクが顕著に低下しており、階層的な低次元表現学習が行われていることが示唆された。