[논문 리뷰] Fisher SAM: Information Geometry and Sharpness Aware Minimisation

Minyoung Kim, Da Li외 2명|arXiv (Cornell University)|2022. 06. 10.

Optical measurement and interference techniques인용 수 7

한 줄 요약

이 논문은 신경망 파라미터 공간의 내재된 비유클리드 기하학을 반영하는 정보 기하학을 활용해 SAM의 유클리드 이웃을 타원체 이웃으로 대체하는 새로운 날카기 인식 최소화 방법인 Fisher SAM을 제안한다. 이는 더 정확하고 기하학적으로 인지된 최적화를 가능하게 하며, 이미지 분류, 과적합, 레이블 노이즈 작업에서 일반화 및 내성성을 향상시키면서도 표준 SGD와 유사한 계산 효율성을 유지한다.

ABSTRACT

Recent sharpness-aware minimisation (SAM) is known to find flat minima which is beneficial for better generalisation with improved robustness. SAM essentially modifies the loss function by reporting the maximum loss value within the small neighborhood around the current iterate. However, it uses the Euclidean ball to define the neighborhood, which can be inaccurate since loss functions for neural networks are typically defined over probability distributions (e.g., class predictive probabilities), rendering the parameter space non Euclidean. In this paper we consider the information geometry of the model parameter space when defining the neighborhood, namely replacing SAM's Euclidean balls with ellipsoids induced by the Fisher information. Our approach, dubbed Fisher SAM, defines more accurate neighborhood structures that conform to the intrinsic metric of the underlying statistical manifold. For instance, SAM may probe the worst-case loss value at either a too nearby or inappropriately distant point due to the ignorance of the parameter space geometry, which is avoided by our Fisher SAM. Another recent Adaptive SAM approach stretches/shrinks the Euclidean ball in accordance with the scale of the parameter magnitudes. This might be dangerous, potentially destroying the neighborhood structure. We demonstrate improved performance of the proposed Fisher SAM on several benchmark datasets/tasks.

연구 동기 및 목표

• 신경망 파라미터 공간의 내재된 비유클리드 기하학을 忽시하는 SAM의 유클리드 이웃의 한계를 해결한다.
• 정보 기하학을 반영한 파라미터 공간의 통계 다양체 기하학을 더 잘 반영하는 피셔 정보 행렬에 의해 유도된 타원체 이웃으로 SAM의 구형 이웃을 대체함으로써 일반화 및 내성성을 향상시킨다.
• 이론적 기반을 바탕으로 피셔 행렬의 기울기 크기 근사치를 활용해 정보 기하학을 통합하면서 이중 SGD 비용을 유지하는 계산 효율성이 높은 SAM의 변형을 개발한다.
• PAC-Bayes 프레임워크에서 타원체 지지 집합을 가진 전면 공분산 가우시안 사전을 사용해 이론적 일반화 경계를 도출함으로써, SAM의 구형 사전을 더 표현력 있는 전면 공분산 타원체 사전으로 확장한다.
• 다양한 벤치마크, 특히 이미지 분류, 레이블 노이즈, 그리고 적대적 매개변수 편향에 대해 Fisher SAM이 SAM 및 ASAM을 능가하는 경험적 우수성을 입증한다.

제안 방법

• SAM의 L2-노름 이웃을 통계 다양체의 내재 리만 기하학을 반영하는 피셔 정보 계량에 의해 정의된 타원체 이웃으로 대체한다.
• 피셔 유도 타원체 내에서의 최대 손실을 로버스트 손실로 정의한다: $ l^{ ext{FSAM}}(\theta) = \text{max}_{\theta' \text{ s.t. } (\theta'-\theta)^T I(\theta) (\theta'-\theta) \leq \gamma^2} l(\theta') $, 여기서 $ I(\theta) $ 는 피셔 정보 행렬이다.
• 기울기의 외적곱(대각 행렬 근사)을 사용해 피셔 정보 행렬을 근사함으로써 표준 SGD에 비해 작은 오버헤드만으로도 효율적인 계산을 가능하게 한다.
• 피셔 계량이 이웃 크기에 미치는 영향을 제어하기 위해 하이퍼파rameter $ \eta $ 를 도입하여 타원체의 적응적 스케일링을 가능하게 한다.
• 전면 공분산 가우시안 사전을 사용해 타원체 지지 집합을 가진 PAC-Bayes 프레임워크에서 이론적 일반화 경계를 유도함으로써, SAM의 구형 사전을 더 표현력 있는 전면 공분산 타원체 사전으로 확장한다.
• 이중 단계 업데이트를 통해 알고리즘을 구현한다: 먼저 피셔 계량을 사용해 손실에 대한 기울기 상승을 통해 편향 방향을 계산하고, 그 다음 악성 경우 손실의 음의 기울기 방향으로 표준 SGD 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 정보 기하학 기반의 이웃 구조는 유클리드 이웃을 초월해 날카기 인식 최소화의 일반화 성능을 향상시킬 수 있는가?
• RQ2 유클리드 구에서 피셔에 의해 유도된 타원체로의 대체는 매개변수 편향 및 레이블 노이즈에 대한 내성성에 어떤 영향을 미치는가?
• RQ3 피셔 정보 행렬을 SAM에 통합할 경우 계산 비용은 얼마나 되며, 성능을 손상시키지 않고 효율적으로 근사할 수 있는가?
• RQ4 SAM의 이론적 일반화 경계는 PAC-Bayes 프레임워크에서 더 표현력 있는 타원체 사전으로 확장될 수 있는가?
• RQ5 Fisher SAM의 성능은 하이퍼파rameter $ \gamma $ (이웃 크기) 및 $ \eta $ (피셔 영향 스케일링)에 얼마나 민감한가?

주요 결과

• CIFAR-100에서 WRN-28-10을 사용할 때 Fisher SAM은 모든 레이블 노이즈 수준(20–80%)에서 SAM 및 ASAM을 능가하는 최고의 테스트 정확도를 달성하며, 뛰어난 내성성을 보였다.
• ResNet-34를 사용한 CIFAR-10에서 Fisher SAM은 적대적 매개변수 편향에 대해 가장 높은 내성성을 보였으며, 강한 편향($ \alpha = 5.0 $) 조건에서도 SAM 및 SGD보다 높은 정확도를 유지했다.
• 20% 레이블 노이즈 조건에서 CIFAR-10에서 Fisher SAM은 $ \boldsymbol{93.03 \pm 0.11} $ 의 테스트 정확도를 기록했으며, SAM과 동일한 성능를 보였고, ASAM 및 SGD를 크게 능가했다.
• 하이퍼파rameter 민감도 분석 결과, Fisher SAM은 $ \gamma \in [0.1, 0.5] $ 및 $ \eta \in [0.01, 1.0] $ 범위에서 넓은 범위의 값에 대해 강건하며, 최적 성능는 이 범위 내에서 달성된다.
• Fisher SAM의 계산 오버헤드는 극히 미미하다: CIFAR-10에서 WRN-28-10을 사용할 때 배치당 학습 시간은 SAM이 0.2322초, FSAM가 0.2334초로 거의 동일한 효율성을 보였다.
• 이론적 분석을 통해 PAC-Bayes 프레임워크에서 사전 집합을 구형에서 타원체로 확장함으로써 Fisher SAM이 SAM보다 더 좋은 일반화 성능를 보임을 확인했으며, 더 날카운 일반화 경계를 제공한다.