[논문 리뷰] Towards Understanding Normalization in Neural ODEs

Julia Gusak, Larisa Markeeva외 4명|arXiv (Cornell University)|2020. 04. 20.

Model Reduction and Neural Networks참고 문헌 13인용 수 5

한 줄 요약

이 논문은 배치 정규화(BN), 레이어 정규화(LN), 가중치 정규화(WN), 스펙트럴 정규화(SN), 및 정규화 없음(NF)과 같은 다양한 정규화 기법이 신경미분방정식(ODE)의 성능 및 학습된 동역학에 미치는 영향을 조사한다. 연구에서는 충분히 강력한 훈련 솔버(예: n=32 단계를 가진 오일러 방법)를 사용하는 BN-LN 정규화를 통해 신경 ODE가 CIFAR-10에서 기록상 최고 수준인 93%의 테스트 정확도를 달성하고, 더 정확한 ODE 솔버에서 잘 일반화되는 부드러운 은닉 상태 동역학을 학습할 수 있음을 보여준다.

ABSTRACT

Normalization is an important and vastly investigated technique in deep learning. However, its role for Ordinary Differential Equation based networks (neural ODEs) is still poorly understood. This paper investigates how different normalization techniques affect the performance of neural ODEs. Particularly, we show that it is possible to achieve 93% accuracy in the CIFAR-10 classification task, and to the best of our knowledge, this is the highest reported accuracy among neural ODEs tested on this problem.

연구 동기 및 목표

• 다양한 정규화 기법이 신경 ODE의 성능 및 일반화에 미치는 영향을 조사하는 것.
• 정규화가 신경 ODE의 은닉 표현 동역학의 부드러움에 영향을 미치는지 평가하는 것.
• 이미지 분류에서 높은 정확도와 강건성을 달성하기 위한 최적의 정규화 및 훈련 솔버 조합을 규명하는 것.
• 학습된 신경 ODE 모델에서 학습된 부드러운 동역학을 평가하는 데 사용할 수 있는 $(\mathcal{S},n)$-기준을 제안하고 검증하는 것.

제안 방법

• 저자들은 ResNet 블록을 ODE 블록으로 대체하여 ODENet4 및 ODENet10 아키텍처를 구현하고, ODE 블록 및 입력에서 정규화 레이어(BN, LN, WN, SN)를 통합한다.
• 기울기 계산을 위해 체크포인팅을 활용하는 메모리 효율적인 백프로파게이션을 가능하게 하는 ANODE 방법을 사용하여 모델을 훈련시킨다.
• 다양한 단계 수(n=2, 8, 16, 32)를 가진 오일러 방법을 사용하여 솔버의 강도가 모델 학습에 미치는 영향을 평가한다.
• $(\mathcal{S},n)$-기준을 적용한다: 더 강력한 솔버(예: n>2인 룬게-쿠타 4차 방법)로 평가했을 때 테스트 정확도가 유지되거나 향상되면, 모델은 부드러운 동역학을 학습했다고 간주한다.
• 일반화성과 부드러움을 평가하기 위해 오른쪽 항 평가 횟수를 늘여가며 다양한 ODE 솔버(Euler, RK2, RK4)를 사용하여 테스트 정확도를 측정한다.
• 실험은 CIFAR-10 데이터셋에서 수행되며, 정규화 유형과 솔버 설정에 대한 아블레이션 분석을 실시한다.

실험 결과

연구 질문

• RQ1 BN, LN, WN, SN, NF와 같은 다양한 정규화 기법이 CIFAR-10에서 신경 ODE의 테스트 정확도에 어떤 영향을 미치는가?
• RQ2 훈련 솔버의 선택(예: n=2인 오일러 대비 n=32인 오일러)이 모델이 은닉 상태 동역학을 부드럽게 학습하는 능력에 영향을 미치는가?
• RQ3 $(\mathcal{S},n)$-기준은 더 정확한 ODE 솔버에서 부드러운 동역학을 보이는지 여부를 신뢰성 있게 탐지할 수 있는가?
• RQ4 BN-LN이 정확도와 부드러움 면에서 다른 정규화 조합보다 뛰어난 이유는 무엇이며, 이 과정에서 훈련 솔버는 어떤 역할을 하는가?

주요 결과

• ODENet4 모델에서 BN-LN 정규화를 사용하고 오일러 방법으로 n=32 단계를 사용해 훈련한 결과, CIFAR-10에서 93%의 테스트 정확도를 기록했으며, 이는 이 벤치마크에서 보고된 바 가장 높은 수준이다.
• 약한 솔버(예: n=2인 오일러)로 훈련한 모델은 $(\mathcal{S},n)$-기준에 실패하여, 부드러운 동역학을 학습하지 못함을 나타내며, 이는 고정밀도 정확도를 달성하더라도 해당됨이 명백하다.
• BN-LN 구성은 충분히 강력한 솔버(n≥16)로 훈련된 경우에만 부드러운 동역학을 달성하며, BN-WN의 경우는 n=32일 때에야 비로소 동일한 부드러움을 달성한다.
• $(\mathcal{S},n)$-기준은 더 정확한 ODE 솔버에서 잘 일반화되는 모델을 성공적으로 식별하여, 안정적이고 불안정한 동역학을 가진 모델을 구분한다.
• 유사한 테스트 정확도를 보이는 모델일지라도 부드러움 면에서 크게 다를 수 있다: 예를 들어, n=16일 때 BN-LN은 부드러운 동역학을 보이지만, n=2일 때는 그렇지 않다.
• 정규화 없음(NF) 또는 SN을 사용하는 경우 성능이 열악하고 부드러운 동역학을 학습하지 못함을 확인하여, 정규화가 신경 ODE에서 핵심적인 역할을 한다는 점을 강조한다.