[논문 리뷰] Stochasticity in Neural ODEs: An Empirical Study

V. V. Oganesyan, Alexandra Volokhova외 1명|arXiv (Cornell University)|2020. 02. 22.

Model Reduction and Neural Networks참고 문헌 15인용 수 7

한 줄 요약

이 논문은 확률적 미분 방정식을 사용하여 신경 ODE를 신경 SDE로 확장함으로써 신경 ODE에서의 확률적 정규화를 경험적으로 조사한다. 연구 결과, 데이터 증강이 없는 조건에서는 확률성이 일반화 성능을 향상시키지만, 데이터 증강만으로도 유사한 성능를 달성함으로써 이미지 분류 작업에서는 확률적 정규화가 효과가 없음을 확인하였다.

ABSTRACT

Stochastic regularization of neural networks (e.g. dropout) is a wide-spread technique in deep learning that allows for better generalization. Despite its success, continuous-time models, such as neural ordinary differential equation (ODE), usually rely on a completely deterministic feed-forward operation. This work provides an empirical study of stochastically regularized neural ODE on several image-classification tasks (CIFAR-10, CIFAR-100, TinyImageNet). Building upon the formalism of stochastic differential equations (SDEs), we demonstrate that neural SDE is able to outperform its deterministic counterpart. Further, we show that data augmentation during the training improves the performance of both deterministic and stochastic versions of the same model. However, the improvements obtained by the data augmentation completely eliminate the empirical gains of the stochastic regularization, making the difference in the performance of neural ODE and neural SDE negligible.

연구 동기 및 목표

• 연속 시간 딥 러닝 모델에서 신경 SDE를 통한 확률적 정규화가 일반화 성능을 향상시키는지 조사하기.
• 이미지 분류 벤치마크에서 결정론적 신경 ODE와 확률적 신경 SDE의 성능을 비교하기.
• 신경 ODE 및 SDE의 맥락에서 결정론적 및 확률적 모델에 대한 데이터 증강의 영향 평가하기.
• 신경 ODE에서 배치 정규화의 역할과 학습 안정성 및 성능에 미치는 영향 분석하기.
• 신경 SDE에서 결정론적 궤적의 기대 예측이 테스트 시점에서 신뢰할 수 있는 추정치인지 평가하기.

제안 방법

• ODE 동역학에 산란 항목을 도입하여 신경 ODE를 확률적 미분 방정식(SDE)으로 수식화하기.
• 학습 및 추론 모두에서 SDE의 수치적 통합에 Euler–Maruyama 방법 사용하기.
• 테스트 시점 추론 시 다수의 확률적 궤적에 대한 몬테카를로 평균을 활용해 기대 예측 추정하기.
• 데이터 증강 유무에 따라 CIFAR-10, CIFAR-100, TinyImageNet에서 모델을 학습 및 평가하기.
• 동일한 아키텍처 및 정규화 조건에서 ResNet, 신경 ODE, 신경 SDE 간 성능 비교하기.
• 신경 SDE의 결정론적 테스트 시점 추론에서의 편향을, 확률적 궤적에 대한 기대 예측과 비교하여 평가하기.

실험 결과

연구 질문

• RQ1 신경 SDE를 통한 확률적 정규화가 이미지 분류 작업에서 결정론적 신경 ODE보다 일반화 성능을 향상시키는가?
• RQ2 데이터 증강이 신경 ODE에서의 확률적 정규화 성능 향상 효과를 어느 정도 상쇄하거나 제거하는가?
• RQ3 신경 ODE의 동역학 함수 내부에 배치 정규화를 포함할 경우 학습 및 추론 성능에 어떤 영향을 미치는가?
• RQ4 신경 SDE에서 결정론적 궤적이 확률적 궤적에 대한 기대 예측을 신뢰할 수 있는 추정치로 활용할 수 있는가?
• RQ5 데이터 증강이 제한되거나 불가능한 환경에서 신경 SDE가 ResNet 및 신경 ODE를 능가할 수 있는가?

주요 결과

• 데이터 증강이 적용되지 않은 조건에서는 신경 SDE가 결정론적 신경 ODE보다 일반화 성능에서 뛰어나다.
• 데이터 증강만으로도 확률적 정규화의 성능 향상 효과와 유사한 성능를 달성함으로써, 표준 이미지 분류 환경에서는 추가적인 확률성이 효과가 없음을 확인하였다.
• 데이터 증강이 적용된 경우 신경 ODE와 신경 SDE 간 성능 격차는 극히 미미하여, 데이터 증강이 확률성의 정규화 효과를 흡수함을 시사한다.
• 신경 SDE에서 결정론적 테스트 시점 추론은 기대 예측에 대한 편향된 추정치를 초래하며, 특히 데이터 증강을 적용한 TinyImageNet에서 뚜렷한 성능 저하가 관찰되었다.
• 신경 ODE의 동역학 함수 내부에 배치 정규화를 통합할 경우, 이를 생략한 경우보다 성능이 떨어지는 경우가 많아 통합 과정에서의 잠재적 불안정성을 시사한다.
• ResNet은 종종 신경 ODE보다 이미지 분류 작업에서 뛰어난 성능를 보이며, 이는 더 정확한 통합이 반드시 표현력이나 성능 향상으로 이어지지 않음을 시사한다.