[논문 리뷰] On the interplay between noise and curvature and its effect on optimization and generalization

Valentin Thomas, Fabián Pedregosa외 4명|arXiv (Cornell University)|2019. 06. 18.

Sparse and Compressive Sensing Techniques참고 문헌 42인용 수 9

한 줄 요약

이 논문은 최적화 및 일반화에서 노이즈(기울기 공분산)와 곡률(Hessian 및 피셔 정보 행렬) 간의 상호작용을 명확히 한다. 두 번째 차수 최적화 방법이 종종 진정한 곡률보다는 노이즈 추정에 의존한다는 것을 보여주며, 노이즈와 곡률을 모두 고려한 타케우치 정보 기준(Takeuchi Information Criterion)이 평탄도나 민감도 지표보다 일반화 갭을 더 우수하게 추정함을 입증한다.

ABSTRACT

The speed at which one can minimize an expected loss using stochastic methods depends on two properties: the curvature of the loss and the variance of the gradients. While most previous works focus on one or the other of these properties, we explore how their interaction affects optimization speed. Further, as the ultimate goal is good generalization performance, we clarify how both curvature and noise are relevant to properly estimate the generalization gap. Realizing that the limitations of some existing works stems from a confusion between these matrices, we also clarify the distinction between the Fisher matrix, the Hessian, and the covariance matrix of the gradients.

연구 동기 및 목표

• 최적화 및 일반화 문헌에서 널리 퍼져 있는 혼동을 해결하기 위해 헤시안, 피셔 정보 행렬, 기울기 공분산 행렬(노이즈) 간의 차이를 명확히 하기.
• 강력한 볼록성과 이차 함수에 대해, 곡률과 노이즈 간의 상호작용이 확률적 최적화의 수렴 속도에 미치는 영향을 조사하기.
• 기존의 곡률(예: 평탄도)에만 의존하는 일반화 갭 추정자들이 데이터 분포의 기하학적 구조와 척도를 忽시하므로 부적절하다는 것을 입증하기.
• 곡률과 노이즈를 모두 포함한 일반화 갭 추정자로서 타케우치 정보 기준(TIC)의 성능을 평가하고, 평탄도 및 민감도 지표보다 뛰어나다는 것을 보여주기.
• 아담 같은 인기 있는 적응형 최적화 방법이 진정한 헤시안 기반 최적화가 아니라 분산 감소를 암묵적으로 수행한다는 것을 드러내며, 분산 감소와 곡률 적응을 융합한 새로운 알고리즘 설계 방향 제시하기.

제안 방법

• 최대우도추정을 사용하여 음의 로그우도 손실 기반으로 헤시안(H), 피셔 정보(F), 기울기 공분산(C)의 세 가지 핵심 정보 행렬을 정의하고 비교하기.
• 이론적 분석을 통해 스미스(2014)의 수렴 경계를 확장하여 스칼라 곡률 및 노이즈 경계를 행렬 기반 수식으로 대체하여 상호작용를 포괄하기.
• 다양한 데이터셋(MNIST, SVHN, CIFAR10)에서 C와 F 행렬의 정렬 정도를 실증적으로 비교하여 강한 상관관계를 보이지만 척도가 다름을 확인하기.
• 일반화 갭 추정을 위한 추정자로 Tr(F⁻¹C)와 Tr(C)/Tr(F)의 추적을 사용하여 예측 능력 평가하기.
• 곡률(F⁻¹)과 노이즈(C)를 모두 포함한 타케우치 정보 기준(TIC)을 적용하여 일반화 성능을 추정하고, 평탄도 및 민감도와 비교하기.
• 표준 비전 벤치마크에서 실험하여 TIC의 예측 능력과 C가 최적화 동역학에서 노이즈의 대체 측정자로서의 강건성 검증하기.

실험 결과

연구 질문

• RQ1 최적화에서 헤시안, 피셔 정보 행렬, 기울기 공분산 행렬은 각각 수학적 형태와 실용적 해석에서 어떻게 다를까?
• RQ2 곡률(Hessian/피셔)과 노이즈(기울기 공분산) 간의 상호작용이 확률적 최적화 방법의 수렴 속도에 어떤 영향을 미치는가?
• RQ3 왜 곡률(예: 평탄도)에만 의존하는 일반화 갭 추정자들이 실패하는가? 노이즈는 분포 불일치를 캡처하는 데 어떤 역할을 하는가?
• RQ4 곡률과 노이즈를 모두 기반으로 하는 타케우치 정보 기준(TIC)이 평탄도나 민감도보다 일반화 성능을 더 정확하게 추정할 수 있는가?
• RQ5 아담 같은 적응형 최적화 방법이 진정한 곡률 정보보다는 노이즈 추정에 얼마나 의존하는가? 이는 알고리즘 설계에 어떤 함의를 갖는가?

주요 결과

• 기울기 공분산 행렬 C는 종종 피셔 행렬 F와 혼동되지만, 본질적으로 다르다: C는 기울기 분산을 측정하지만, F는 진정한 데이터 분포 하에서 로그우도의 곡률을 측정한다.
• 실증 결과에 따르면 C와 F는 MNIST, SVHN, CIFAR10 등의 데이터셋에서 놀랄 정도로 정렬되어 있지만 척도가 다름을 확인하여, 일부 맥락에서 C가 F의 대체 측정자로 사용될 수 있음을 시사한다.
• 두 번째 차수 최적화에서 헤시안 H를 피셔 F로 대체해도 성능 저하가 거의 없음을 확인하여, F가 H보다 더 안정적인 대안이 될 수 있음을 입증한다.
• 일반화 갭이 작을 경우 Tr(C)/Tr(F) 비율은 일반화 갭을 과대평가하는 경향이 있으나, Tr(F⁻¹C)는 다양한 데이터셋에서 더 뛰어난 예측 능력을 보임.
• 곡률(F⁻¹)과 노이즈(C)를 모두 포함한 타케우치 정보 기준(TIC)은 평탄도 및 민감도 지표보다 일반화 갭 추정에서 뛰어난 성능을 보이며, 특히 갭이 큰 영역에서 유의미한 우월성을 보인다.
• 아담과 같은 많은 적응형 최적화 방법은 진정한 헤시안 기반 최적화가 아니라 암묵적으로 분산 감소를 수행할 수 있으며, 이는 이들의 이론적 기초 재고 및 분산 감소 기법과의 하이브리드 설계 가능성을 시사한다.