[논문 리뷰] Time Dependence in Non-Autonomous Neural ODEs

Jared Quincy Davis, Krzysztof Choromański외 7명|arXiv (Cornell University)|2020. 05. 05.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 시간에 따라 명시적으로 변화하는 가중치를 갖는 비자율성 신경 미분방정식(NANODEs)을 소개한다. 여기서 모델 가중치는 학습 가능한 매끄러운 함수를 통해 시간에 의존하며, 이는 궤적의 교차를 가능하게 하고 보편 근사성을 달성한다. 시간에 따라 변화하는 가중치를 삼각함수나 조각다항식 기저를 통해 매개변수화함으로써 표현력과 메모리 효율성이 향상되며, CIFAR-100 및 비디오 예측 작업에서 ResNet과 CNN보다 뛰어난 성능을 보이며, 역전파 시 일정한 메모리 비용을 유지하는 적자법을 통해 메모리 효율성을 확보한다.

ABSTRACT

Neural Ordinary Differential Equations (ODEs) are elegant reinterpretations of deep networks where continuous time can replace the discrete notion of depth, ODE solvers perform forward propagation, and the adjoint method enables efficient, constant memory backpropagation. Neural ODEs are universal approximators only when they are non-autonomous, that is, the dynamics depends explicitly on time. We propose a novel family of Neural ODEs with time-varying weights, where time-dependence is non-parametric, and the smoothness of weight trajectories can be explicitly controlled to allow a tradeoff between expressiveness and efficiency. Using this enhanced expressiveness, we outperform previous Neural ODE variants in both speed and representational capacity, ultimately outperforming standard ResNet and CNN models on select image classification and video prediction tasks.

연구 동기 및 목표

• 자기상수성 신경 미분방정식이 궤적 교차를 허용하지 않아 비단사상적 또는 비가역적 사상도 모델링할 수 없는 표현력의 한계를 해결하기 위해.
• 가중치 행렬에 명시적 비모수적 시간 의존성을 도입하여 신경 미분방정식에서 보편 근사를 달성하기 위해.
• 역전파 중 일정한 메모리 비용을 유지하면서도 표준 ResNet과 CNN보다 높은 표현력을 갖는 메모리 효율적인 아키텍처를 설계하기 위해.
• 안정적인 비자율 시스템 학습과 안정한 다중다양체 위상의 흐름, 특히 직교군과의 이론적 연결 고리를 탐색하기 위해.
• 메모리 제약 조건 하에서 이미지 분류 및 비디오 예측 작업에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 시간에 따라 변화하는 가중치 $ \theta(t; \alpha) $를 갖는 새로운 신경 미분방정식 클래스를 제안하며, 이는 $ \dot{x} = f(x, \theta(t; \alpha)) $로 기술된다.
• 시간에 따라 변화하는 가중치를 삼각함수나 조각다항식 기저 함수 $ \phi(t, \theta_{ij}) $를 사용해 매개변수화하여 매끄럽고 제어 가능한 표현력과 표현력을 확보한다.
• 역전파에 적자법을 적용하여 통합 깊이 또는 시간 이산화 수준에 관계없이 일정한 메모리 비용을 유지한다.
• 역전파 감도 방법을 활용한 가역 아키텍처를 구현하여 최소한의 활성화 메모리로 효율적인 학습을 가능하게 한다.
• 시간 의존성을 입력에 추가하는 것이 아니라, 학습 가능한 계수 $ \alpha $를 갖는 함수로 명시적으로 모델링함으로써 시간과 입력 특징을 분리한다.
• 안정적인 비자율 시스템 학습과 안정한 다중다양체 위상의 흐름, 특히 $ \mathcal{O}(d) $와의 이론적 연결 고리를 탐색한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변화하는 가중치를 갖는 비자율성 신경 미분방정식이 자율성 시스템의 한계를 극복하고 보편 근사를 달성할 수 있는가?
• RQ2 신경 미분방정식의 시간 의존성을 표현력과 계산 효율성의 균형을 고려해 어떻게 매개변수화할 수 있는가?
• RQ3 시간에 따라 변화하는 가중치 궤적의 매끄러움이 모델 성능과 학습 안정성에 미치는 영향는 어떠한가?
• RQ4 비자율성 신경 미분방정식이 메모리 제약 조건 하에서 표준 ResNet과 CNN보다 뛰어난 성능을 보이며, 일정한 메모리 사용을 유지할 수 있는가?
• RQ5 안정적인 비자율 시스템 학습과 안정한 다중다양체 위상의 기하학적 흐름 사이에 이론적 연결 고리가 존재하는가?

주요 결과

• NANODEs는 CIFAR-100 이미지 분류에서 표준 ResNet 및 CNN 모델보다 우수한 성능을 보이며, 유사하거나 더 높은 정확도로 더 낮은 테스트 손실을 기록한다.
• Moving MNIST 비디오 예측 작업에서, NANODE 모델은 10시간이 넘는 학습 후에도 SVG 기준선보다 더 빠르게 수렴하고 더 낮은 최종 손실을 기록한다.
• Moving MNIST에서 NANODE 모델은 테스트 ELBO 8.5e-6을 달성했으며, BAIR Robot Pushing Small 데이터셋에선 7.6e-5를 기록하여 SVG 및 자율성 NODE 기준선을 모두 초월한다.
• 시간 단계 수보다 이산화 순서가 낮은 경우, 삼각함수 시간 처리 방식이 조각상수(버킷) 처리 방식보다 성능이 뛰어나며, 매끄러움의 이점이 확인된다.
• 이론적으로 잠재적인 잠재력이 있었음에도 불구하고, 실험 결과에서 하이퍼네트워크 기반 시간-가중치 매개변수화 방식은 자율성 NODE보다 성능 향상을 이끌지 못했다.
• NANODE 아키텍처는 자율성 NODE와 유사한 작은 활성화 메모리 사용량(4.7 GB)을 유지하면서도 훨씬 더 많은 매개변수(1.9e-2 GB)를 사용함으로써 뛰어난 매개변수 효율성을 입증한다.