[논문 리뷰] Investigating Power laws in Deep Representation Learning

Arna Ghosh, Arnab Kumar Mondal외 2명|arXiv (Cornell University)|2022. 02. 11.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 깊이 있는 신경망 표현의 고유스펙트럼의 등급 감쇠 계수 α를 레이블이 없는 표현 품질의 대체 지표로 사용하는 것을 제안한다. 다양한 아키텍처와 자기지도 학습 목표에서 특성 공분산 행렬을 분석한 결과, α ≈ 1일 때 하流 일반화 성능과 레이블 노이즈에 대한 강건성이 높게 관련되어 있음을 발견하였으며, 이는 하류 작업이 필요 없이 확장 가능한 레이블이 없는 메트릭을 제공한다.

ABSTRACT

Representation learning that leverages large-scale labelled datasets, is central to recent progress in machine learning. Access to task relevant labels at scale is often scarce or expensive, motivating the need to learn from unlabelled datasets with self-supervised learning (SSL). Such large unlabelled datasets (with data augmentations) often provide a good coverage of the underlying input distribution. However evaluating the representations learned by SSL algorithms still requires task-specific labelled samples in the training pipeline. Additionally, the generalization of task-specific encoding is often sensitive to potential distribution shift. Inspired by recent advances in theoretical machine learning and vision neuroscience, we observe that the eigenspectrum of the empirical feature covariance matrix often follows a power law. For visual representations, we estimate the coefficient of the power law, $α$, across three key attributes which influence representation learning: learning objective (supervised, SimCLR, Barlow Twins and BYOL), network architecture (VGG, ResNet and Vision Transformer), and tasks (object and scene recognition). We observe that under mild conditions, proximity of $α$ to 1, is strongly correlated to the downstream generalization performance. Furthermore, $α\approx 1$ is a strong indicator of robustness to label noise during fine-tuning. Notably, $α$ is computable from the representations without knowledge of any labels, thereby offering a framework to evaluate the quality of representations in unlabelled datasets.

연구 동기 및 목표

• 깊이 있는 신경망 표현의 고유스펙트럼이 등급 법칙을 따르는지, 특히 자기지도 학습에서 그러한가를 조사하기 위해.
• 등급 법칙 계수 α가 하류 일반화 성능과 분포 이탈 또는 레이블 노이즈에 대한 강건성과 관련이 있는지 확인하기 위해.
• 하류 레이블에 접근할 필요 없이 레이블이 없는 표현 품질 평가 메트릭을 개발하기 위해.
• 노이즈가 있는 지도 하에 피니테이닝 중 모델의 강건성과 α 사이의 관계를 탐색하기 위해.
• α가 아키텍처와 학습 목표 전반에서 표현 품질에 대한 원칙적이고 확장 가능한 대체 지표로 기능할 수 있는지 평가하기 위해.

제안 방법

• 대규모 레이블이 없는 데이터셋에서의 깊이 있는 네트워크 활성화로부터 경험적 특성 공분산 행렬 Σ_N(f)를 계산한다.
• Σ_N(f)의 고유스펙트럼을 계산하고, 감쇠 계수 α를 추정하기 위해 등급 법칙 λ_i ∝ i^(-α)를 피팅한다.
• 다양한 네트워크 아키텍처(VGG, ResNet, Vision Transformer), 학습 목표(지도 학습, SimCLR, Barlow Twins, BYOL), 하류 작업(객체 및 경관 인식)에서 α를 평가한다.
• α를 표현 품질의 대체 지표로 사용하고, STL-10 및 ImageNet에서의 하류 정확도와 상관관계를 분석한다.
• 15%의 레이블 노이즈를 가진 피니테이닝을 수행하여 강건성을 평가하고, 학습 에포크 동안 α와 정확도의 변화를 추적한다.
• 레이블 없이도 모델 간 및 학습 목표 간의 α 값을 비교하여 표현 품질의 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망 표현의 고유스펙트럼이 등급 법칙을 따르는가, 감쇠 계수 α의 값은 무엇인가?
• RQ2 다양한 아키텍처와 학습 목표에서 α가 하류 일반화 성능과 어떻게 관련되어 있는가?
• RQ3 피니테이닝 중 레이블 노이즈에 대한 강건성에 대해 α가 신뢰할 수 있는 예측자인가?
• RQ4 α가 자기지도 학습에서 표현 품질 평가를 위한 레이블이 없는 메트릭으로 사용될 수 있는가?
• RQ5 α ≈ 1이 더 우수한 일반화 및 강건성을 가능하게 하는 표현의 기본적 성질을 나타내는가?

주요 결과

• 고유스펙트럼의 등급 감쇠 계수 α는 STL-10 및 ImageNet에서 하류 분류 정확도와 강하게 상관되어 있으며, α ≈ 1일 때 성능이 최고조에 이른다.
• 자기지도 학습 목표(예: Barlow Twins, SimCLR)로 사전 훈련한 모델들은 α ≈ 1을 보이며, 지도 학습 사전 훈련보다 더 높은 정확도(예: STL-10에서 91.81%)를 달성한다.
• 피니테이닝 중 15%의 레이블 노이즈가 존재할 경우, α가 1에 가까운 모델(예: Barlow Twins)은 약 3.36%의 정확도 감소를 보이며 상당히 강건한 반면, 지도 학습 사전 훈련의 경우 약 8.20%의 정확도 감소를 보였다.
• 피니테이닝이 진행되면서 검증 정확도가 향상됨에 따라 α는 양방향에서 1에 수렴하며, 성능과 스펙트럼 구조 사이의 동적 관계를 나타낸다.
• ViT 아키텍처는 초기 레이어에서 전역 수신장이 있기 때문에 α > 1를 보이며, 이는 초기 표현에서 더 높은 부복잡성과 낮은 유효 랭크를 의미한다.
• α는 레이블 없이도 표현으로부터 계산 가능하므로, 레이블이 없는 데이터셋에서 자기지도 학습 표현을 평가하는 데 실용적이고 확장 가능한 메트릭이 된다.