[논문 리뷰] Low Rank Structure of Learned Representations.

Amartya Sanyal, Varun Kanade외 1명|arXiv (Cornell University)|2018. 04. 19.

Adversarial Robustness in Machine Learning참고 문헌 36인용 수 11

한 줄 요약

이 논문은 CIFAR-10 및 CIFAR-100에서 훈련된 ResNet-18, ResNet-50, VGG-19와 같은 최신 이미지 분류 모델에서 학습된 표현의 저질서 구조를 조사한다. 저자는 네트워크의 각 레이어에서 저질서 활성화를 장려하는 훈련 수정 방법을 제안하여 정확도를 유지하면서 모델 압축 성능과 적대적 예측에 대한 강건성을 향상시킨다.

ABSTRACT

A key feature of neural networks, particularly deep convolutional neural networks, is their ability to learn useful representations from data. The very last layer of a neural network is then simply a linear model trained on these representations. Despite their numerous applications in other tasks such as classification, retrieval, clustering etc., a.k.a. transfer learning, not much work has been published that investigates the structure of these representations or whether structure can be imposed on them during the training process. In this paper, we study the dimensionality of the learned representations by models that have proved highly succesful for image classification. We focus on ResNet-18, ResNet-50 and VGG-19 and observe that when trained on CIFAR10 or CIFAR100 datasets, the learned representations exhibit a fairly low rank structure. We propose a modification to the training procedure, which further encourages low rank representations of activations at various stages in the neural network. Empirically, we show that this has implications for compression and robustness to adversarial examples.

연구 동기 및 목표

• 최신 이미지 분류 모델에서 학습된 표현의 내재 차원수를 조사하기 위해.
• ResNet-18, ResNet-50, VGG-19와 같은 깊은 네트워크의 활성화에서 저질서 구조가 존재하는지 확인하기 위해.
• 훈련 중에 저질서 구조를 강제로 유도함으로써 모델 효율성과 강건성을 향상시킬 수 있는지 탐색하기 위해.
• 저질서 표현이 모델 압축 및 적대적 공격에 대한 강건성에 미치는 영향을 평가하기 위해.

제안 방법

• 훈련된 모델의 여러 레이어에서 활성화 특징 맵의 특이값 분해(SVD)를 분석한다.
• 훈련된 모델의 활성화가 특히 깊은 레이어에서 저질서 구조를 보임을 확인한다.
• 역전파 동안 특징 맵에 저질서 정규화를 적용하는 수정된 훈련 절차를 도입한다.
• 네트워크 아키텍처를 변경하지 않고도 저질서 표현을 장려하기 위해 질서 제약 최적화를 사용한다.
• CIFAR-10 및 CIFAR-100 데이터셋에서 ResNet-18, ResNet-50, VGG-19에 이 방법을 적용한다.
• 모델 압축 및 적대적 공격에 대한 강건성에 미치는 영향을 실증적으로 평가한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 네트워크에서 학습된 표현이 저질서 구조를 보이는가?
• RQ2 성능 저하 없이 훈련 중에 저질서 구조를 명시적으로 장려할 수 있는가?
• RQ3 저질서 표현을 강제로 유도하면 모델 압축 효율성에 어떤 영향을 미치는가?
• RQ4 저질서 표현은 적대적 예측에 대한 강건성을 향상시키는가?
• RQ5 중간 활성화의 질서와 일반화 성능 사이의 관계는 무엇인가?

주요 결과

• CIFAR-10 및 CIFAR-100에서 훈련된 ResNet-18, ResNet-50, VGG-19의 학습된 표현은 활성화 특징 맵에서 저질서 구조를 보인다.
• 제안된 훈련 수정 방법은 네트워크의 여러 레이어에서 저질서 표현을 성공적으로 장려한다.
• 저질서 정규화를 적용한 모델는 표준 훈련과 동일한 정확도를 확보하면서도 더 높은 압축 효율성을 달성한다.
• 저질서 정규화된 모델는 기준 모델 대비 적대적 예측에 대해 향상된 강건성을 보인다.
• 깊은 레이어에서 활성화 특징의 질서가 크게 감소함을 통해 계층적인 저차원 표현 학습이 이루어지는 것으로 나타났다.