[논문 리뷰] Escaping Saddle Points for Effective Generalization on Class-Imbalanced Data

Harsh Rangwani, Sumukh K Aithal외 2명|arXiv (Cornell University)|2022. 12. 28.

Imbalanced Data Classification Techniques인용 수 9

한 줄 요약

이 논문은 클래스 불균형 데이터로 훈련된 딥 네ural 네트워크가 재균형 기법에도 불구하고 소수 클래스의 손실 구조에서 안장점에 수렴하는 것으로 밝혀졌으며, 이는 Sharpness-Aware Minimization(SAM)을 적용함으로써 부정의 곡률 방향으로 기울기를 강화함으로써 효과적으로 이 안장점에서 벗어나 일반화 성능을 향상시킨다. 이로 인해 Vector Scaling Loss 대비 소수 클래스에서 6.2%의 정확도 향상을 기록하였고, 데이터셋 평균으로는 4%의 향상률을 달성하였다.

ABSTRACT

Real-world datasets exhibit imbalances of varying types and degrees. Several techniques based on re-weighting and margin adjustment of loss are often used to enhance the performance of neural networks, particularly on minority classes. In this work, we analyze the class-imbalanced learning problem by examining the loss landscape of neural networks trained with re-weighting and margin-based techniques. Specifically, we examine the spectral density of Hessian of class-wise loss, through which we observe that the network weights converge to a saddle point in the loss landscapes of minority classes. Following this observation, we also find that optimization methods designed to escape from saddle points can be effectively used to improve generalization on minority classes. We further theoretically and empirically demonstrate that Sharpness-Aware Minimization (SAM), a recent technique that encourages convergence to a flat minima, can be effectively used to escape saddle points for minority classes. Using SAM results in a 6.2\% increase in accuracy on the minority classes over the state-of-the-art Vector Scaling Loss, leading to an overall average increase of 4\% across imbalanced datasets. The code is available at: https://github.com/val-iisc/Saddle-LongTail.

연구 동기 및 목표

• 장테일 데이터셋에서 재균형 및 마진 기반 방법이 소수 클래스에 대해 일반화 성능이 떨어지는 이유를 규명하는 것.
• 클래스별 헤시안 스펙트럼 밀도를 사용하여 불균형 데이터로 훈련된 신경망의 손실 구조를 분석하는 것.
• 소수 클래스에서의 열악한 일반화의 주요 원인으로 손실 구조 내 안장점을 규명하는 것.
• 안장점에서 벗어나도록 설계된 최적화 방법이 불균형 데이터에서의 성능 향상에 기여하는지 평가하는 것.
• Sharpness-Aware Minimization(SAM)이 안장점을 효과적으로 탈출하고 소수 클래스의 일반화 성능을 향상시키는 데 효과적인지 입증하는 것.

제안 방법

• 소수 클래스 영역의 곡률을 분석하기 위해 클래스별 헤시안 분석을 제안하여, 소수 클래스 영역에서의 부정 곡률이 드러나도록 한다.
• 헤시안의 스펙트럼 밀도를 사용하여 소수 클래스의 가중치 공간에서 안장점(큰 부정 곡률)을 탐지한다.
• 가중치의 이웃 영역을 최적화하여 평탄한 최소값을 장려하고 안장점에서의 탈출을 향상시키는 방식으로 Sharpness-Aware Minimization(SAM)을 적용한다.
• 재균형 기법인 Deferred Re-Weighting(DRW) 및 Vector Scaling(VS) Loss와 SAM을 결합하여 불균형 데이터 훈련을 향상시킨다.
• 이중 단계 훈련 스케줄을 도입: 초기 단계에서는 표준 크로스 엔트로피로 훈련하고, 이후에 지연 재균형을 적용하여 최적화의 안정성을 확보한다.
• 재균형 손실을 사용하는 펌프된 가중치에서 기울기를 계산하는 수정된 SAM 업데이트 규칙을 도입하여 소수 클래스 영역의 안장점에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 재균형 및 마진 기반 방법이 설계상 클래스 불균형을 완화하도록 되어 있음에도 불구하고, 소수 클래스에서 여전히 성능이 열등한 이유는 무엇인가?
• RQ2 불균형 데이터로 훈련된 딥 네트워크의 최종 해가 소수 클래스의 손실 구조에서 안장점에 수렴하는가, 아니면 최소값에 수렴하는가?
• RQ3 안장점에서 벗어나도록 설계된 최적화 방법이 장테일 학습에서 소수 클래스의 일반화 성능 향상에 기여하는가?
• RQ4 SAM이 소수 클래스 영역에서 부정 곡률 방향으로 기울기 성분을 효과적으로 향상시키는가?
• RQ5 기존의 재균형 기법과 SAM을 조합하여 불균형 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 클래스별 헤시안 분석 결과, 소수 클래스는 높은 부정 곡률 영역으로 수렴하는 것으로 나타났으며, 이는 안장점을 의미한다. 반면 헤드 클래스는 최소값으로 수렴한다.
• 재균형 기법을 적용한 후에도 불균형 데이터로 훈련된 모델은 여전히 소수 클래스에서 안장점으로 수렴함을 확인하여, 일반화 성능 열악함의 원인을 설명한다.
• SAM은 부정 곡률 방향으로 기울기 성분을 크게 향상시켜 소수 클래스 영역의 안장점에서 효과적으로 탈출할 수 있도록 한다.
• CIFAR-100 LT에서 SAM을 Vector Scaling Loss와 결합한 결과, 최신 기술 수준의 VS-Loss 기준 6.2%의 소수 클래스 정확도 향상을 기록하였다.
• ImageNet-LT 및 iNaturalist-18에서 SAM과 재균형 기법의 조합은 모든 클래스 평균으로 4%의 정확도 향상을 기록하였다.
• 이 방법은 LDAM, IB-Loss, PaCo를 포함한 다양한 벤치마크 및 손실 함수에 대해 일반화 가능하며 광범위한 적용 가능성을 보였다.