[논문 리뷰] What Do Neural Networks Learn When Trained With Random Labels?

Hartmut Maennel, Ibrahim Alabdulmohsin외 5명|arXiv (Cornell University)|2020. 06. 18.

Machine Learning and Data Classification참고 문헌 53인용 수 29

한 줄 요약

이 논문은 랜덤 레이블이 부여된 이미지에서 훈련된 딥 네ural 네트워크가 학습하는 바를 조사하며, 네트워크 파라미터의 주성분과 데이터 분포 간의 일치를 드러낸다. 의미적 신호가 없음에도 불구하고 이 일치는 정상적인 전이 학습을 가능하게 하며, 랜덤 레이블 사전학습이 후행 테스트의 미세조정을 가속화함을 보여준다. 이는 가중치 스케일링을 보정한 후에도 성립하나, 일부 설정에서는 후행 레이어의 특화가 이 이점을 가리킬 수 있다.

ABSTRACT

We study deep neural networks (DNNs) trained on natural image data with entirely random labels. Despite its popularity in the literature, where it is often used to study memorization, generalization, and other phenomena, little is known about what DNNs learn in this setting. In this paper, we show analytically for convolutional and fully connected networks that an alignment between the principal components of network parameters and data takes place when training with random labels. We study this alignment effect by investigating neural networks pre-trained on randomly labelled image data and subsequently fine-tuned on disjoint datasets with random or real labels. We show how this alignment produces a positive transfer: networks pre-trained with random labels train faster downstream compared to training from scratch even after accounting for simple effects, such as weight scaling. We analyze how competing effects, such as specialization at later layers, may hide the positive transfer. These effects are studied in several network architectures, including VGG16 and ResNet18, on CIFAR10 and ImageNet.

연구 동기 및 목표

• 랜덤 레이블을 사용한 훈련에서 딥 네럴 네트워크가 무엇을 학습하는지 이해하기 위해, 일반화 및 기억 현상을 연구하는 데 자주 사용되는 설정을 고려한다.
• 의미적 신호가 없음에도 불구하고 랜덤 레이블 사전학습이 후행 훈련을 가속화하는 데 기여하는 이유를 설명한다.
• 가중치 스케일링과 같은 혼란 요인을 분리하여 정상적인 전이 효과를 분석하고, 후행 레이어의 특화로 인해 부정적인 영향이 발생하는 조건을 규명한다.
• 아키텍처의 깊이, 너비, 하이퍼파라미터가 랜덤 레이블 훈련 시 네트워크의 행동에 미치는 영향을 조사한다.
• 랜덤 레이블 훈련에서 파라미터-데이터 일치가 핵심 메커니즘으로 작용하는 데 대한 분석적 및 실증적 증거를 제공한다.

제안 방법

• 완전 연결 및 컨볼루션 네트워크에서 랜덤 레이블 훈련 조건 하에 네트워크 가중치의 주성분과 입력 데이터 간의 일치를 분석적으로 유도한다.
• 랜덤 레이블이 부여된 이미지 데이터셋에서 모델을 사전학습한 후, 의미적 또는 랜덤 레이블이 부여된 별개의 데이터셋에서 미세조정하여 전이 효과를 측정한다.
• 레이어 가중치 행렬의 고유분해를 통해 주성분을 추출하고, 후행 작업에서 필터로 사용했을 때의 성능을 평가한다.
• 다음 네 가지 조건에서의 미세조정 성능를 비교하여 일치 효과를 분리한다: (1) 전체 사전학습 가중치, (2) 가중치의 상위 주성분만, (3) 무작위 초기화, (4) 하위 고유벡터.
• 사전학습 및 미세조정 과정에서 레이어 간의 신경 활성화 패턴을 모니터링하여 상위 레이어에서의 특화 및 용량 감소 여부를 탐지한다.
• 학습률, 초기화 스케일, 너비, 깊이, 훈련 반복 횟수 등의 하이퍼파라미터를 체계적으로 변화시켜 발견의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 랜덤 레이블이 부여된 이미지에서 훈련된 딥 네럴 네트워크가 학습하는 주요 구조적 특성은 무엇인가?
• RQ2 의미적 신호가 없음에도 불구하고 랜덤 레이블 사전학습이 후행 미세조정을 가속화하는 이유는 무엇인가?
• RQ3 랜덤 레이블 훈련 과정에서 파라미터-데이터 일치는 어떻게 발생하며, 이는 전이 학습에서 어떤 역할을 하는가?
• RQ4 언제 어떤 조건에서 랜덤 레이블 사전학습이 부정적 전이를 유도하며, 그 원인은 무엇인가?
• RQ5 후행 레이어의 특화가 후행 작업에서 네트워크의 유효 용량을 어느 정도 감소시키는가?

주요 결과

• 랜덤 레이블 사전학습은 의미적 신호가 없음에도 불구하고 네트워크 가중치의 주성분과 데이터 분포 간에 뚜렷한 일치를 이끌어낸다.
• 이 일치는 정상적인 전이를 가능하게 하며, 가중치 스케일링을 보정한 후에도 랜덤 초기화보다 빠른 미세조정 성능을 보인다.
• 컨볼루션 레이어 가중치의 상위 16개 주성분만을 사용하는 것만으로도 랜덤 초기화 수준의 성능을 달성함으로써, 학습된 구조의 의미 있는 성격을 입증한다.
• 상위 고유벡터를 가장 작은 고유값에 해당하는 고유벡터로 대체할 경우 성능이 크게 떨어지며, 이는 일치가 무작위가 아님을 확인한다.
• 상위 레이어에서의 특화—후행 작업으로 전환한 후 활성화 빈도 급격 감소로 나타남—은 정상적인 전이 효과를 가리고 유효 용량을 감소시킬 수 있다.
• 이 긍정적 전이 효과는 아키텍처(예: VGG16, ResNet18), 데이터셋(CIFAR10, ImageNet), 하이퍼파라미터 설정에 관계없이 강건하게 유지되나, 특정 초기화 및 레이블 구성에서는 부정적 영향이 나타난다.