[논문 리뷰] Implicit Bias in Deep Linear Classification: Initialization Scale vs Training Accuracy

Edward Moroshko, Suriya Gunasekar외 4명|arXiv (Cornell University)|2020. 07. 13.

Stochastic Gradient Optimization Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 지수 손실에 대한 경사 유량을 사용하여 딥 선형 분류의 암묵적 편향을 분석하며, 커널에서 리치(non-kernel)로의 전이가 초기화 스케일과 학습 정확도에 의해 결정됨을 보여준다. 리치 영역은 극도로 높은 학습 정확도(예: 10⁻¹⁰⁰ 초과)일 때에만 나타나며, 실제 학습 정확도와 중간 정도의 초기화 스케일에서는 암묵적 편향이 더 복잡하며 기존의 점근적 극한으로는 기술되지 않는다는 점을 드러낸다.

ABSTRACT

We provide a detailed asymptotic study of gradient flow trajectories and their implicit optimization bias when minimizing the exponential loss over "diagonal linear networks". This is the simplest model displaying a transition between "kernel" and non-kernel ("rich" or "active") regimes. We show how the transition is controlled by the relationship between the initialization scale and how accurately we minimize the training loss. Our results indicate that some limit behaviors of gradient descent only kick in at ridiculous training accuracies (well beyond $10^{-100}$). Moreover, the implicit bias at reasonable initialization scales and training accuracies is more complex and not captured by these limits.

연구 동기 및 목표

• 초기화 스케일과 학습 정확도가 지수 손실 최소화 과정에서 딥 선형 네트워크의 암묵적 편향에 어떻게 공동으로 영향을 미치는지 이해한다.
• 큰 초기화 스케일에서 커널 영역이 나타나는 것과 분류 과제에서 리치 영역가 초기화 스케일에 영향을 받지 않는다는 보기에 모순되는 점을 해소한다.
• 딥 선형 분류에서 커널 영역과 비커널(리치) 영역 간의 전이를 특성화하며, 깊이, 너비, 학습 정확도에 따라 어떻게 달라지는지 분석한다.
• 다양한 하이퍼파rameter 영역에서 대칭적 분석을 통해 대각선 선형 네트워크의 경사 유량 궤적을 분석하여 암묵적 편향을 맵핑한다.

제안 방법

• 지수 손실을 사용하는 대각선 선형 네트워크에서의 경사 유량 궤적을 분석하며, 점근적 분석을 통해 암묵적 편향을 모델링한다.
• 극도로 낮은 손실 값에서의 수치적 오버플로우 및 언더플로우를 방지하기 위해 정규화된 경사 하강 업데이트 규칙을 사용한다.
• 손실 값이 10⁻¹⁰⁰₀ 이하일 때에도 수치적 안정성을 확보하기 위해 최소 로짓 값에 기반한 재가중 기법을 도입한다.
• K(t)와 K(0) 간의 탄성 커널余弦 유사도를 측정하여 커널 영역에의 가까움을 측정하며, 최적화 과정에서의 변화를 추적한다.
• 최적 예측자에 대한 초과 ℓ₁- 및 ℓ₂-노름을 사용하여 암묵적 편향을 정량화하며, 커널 및 리치 극한과 비교한다.
• 깊이 D, 초기화 스케일 α, 목표 정확도 ϵ의 변화에 따라 시뮬레이션을 수행하여 영역 간 전이 영역을 맵핑한다.

실험 결과

연구 질문

• RQ1 딥 선형 분류에서의 암묵적 편향은 초기화 스케일과 학습 정확도의 상호작용에 어떻게 의존하는가?
• RQ2 최적화 궤적이 커널 영역에서 벗어나 리치(비커널) 영역으로 진입하는 데 필요한 학습 정확도는 어느 정도인가?
• RQ3 분류 과제에서 리치 영역가 초기화 스케일에 영향을 받지 않는 것처럼 보이는 이유는 무엇인가, 비록 커널 영역이 그에 따라 달라지기 때문이다?
• RQ4 깊이가 손실 및 탄성 커널 역학 측면에서 커널 영역에서 리치 영역으로의 전이에 어떻게 영향을 미치는가?
• RQ5 커널 및 리치 극한 사이의 중간 영역에서의 암묵적 편향의 성격은 무엇이며, 양 극한과 어떻게 다를까?

주요 결과

• 리치 영역는 약 10⁻¹⁰⁰ 이하의 학습 정확도에서만 도달되며, 이는 조건이 충족되지 않으면 표준 학습 절차가 여전히 커널 영역에 머무름을 의미한다.
• 초기화 스케일이 증가할수록 커널 영역가 나타나지만, 이는 유한한 임계값(예: ϵ ≈ 10⁻¹⁰) 이하로 제한된 학습 정확도에서만 성립하며, 무한한 학습 시간의 극한에서는 성립하지 않는다.
• 실제 학습 정확도(예: ϵ = 10⁻¹⁰)에서 암묵적 편향은 더 복잡하며, ℓ₂(커널) 또는 ℓ₁(리치) 극한 중 어느 하나로도 기술되지 않는다.
• 깊이를 증가시키면 커널 영역에서의 탈출이 가속되며, 더 높은 손실 값에서도 조기에 리치 영역로의 전이가 가능해진다.
• 커널 영역에서는 탄성 커널이 거의 일정하지만, 탈출 시에 크게 변화함을 확인하여, 이가 영역 전이의 진단 도구로서의 역할을 확인한다.
• 로짓을 최소값 기준으로 중심화하는 재가중 기법을 통해 수치적 안정성을 확보하였으며, 이로 인해 10⁻¹⁰⁰₀ 이하의 극도로 낮은 손실 값에서도 수치적 문제 없이 시뮬레이션을 수행할 수 있었다.