[논문 리뷰] Augmented Neural ODEs

Emilien Dupont, Randal Douc외 1명|arXiv (Cornell University)|2019. 04. 02.

Model Reduction and Neural Networks참고 문헌 18인용 수 57

한 줄 요약

논문은 Neural ODE의 토폴로지 보존 한계를 식별하고 Augmented Neural ODEs (ANODEs)을 도입하여 데이터를 더 높은 차원으로 올려 더 간단하고 표현력이 높은 흐름을 학습하게 하며 계산 비용을 줄이고 일반화와 안정성을 개선한다.

ABSTRACT

We show that Neural Ordinary Differential Equations (ODEs) learn representations that preserve the topology of the input space and prove that this implies the existence of functions Neural ODEs cannot represent. To address these limitations, we introduce Augmented Neural ODEs which, in addition to being more expressive models, are empirically more stable, generalize better and have a lower computational cost than Neural ODEs.

연구 동기 및 목표

• Neural ODE가 입력 공간의 토폴로지를 보존하고 특정 함수들을 표현할 수 없다는 것을 증명한다.
• 표현 한계를 극복하고 학습 안정성 및 효율성을 향상시키기 위해 Augmented Neural ODEs를 제안한다.
• 표현력, NFEs, 일반화 및 확장성을 평가하기 위해 토이(task)와 이미지 데이터셋에서 NODE와 ANODE를 실증적으로 비교한다.

제안 방법

• Neural ODE를 ResNet의 연속 시간 한계로 정의하고 NODE 흐름을 h(0)=x인 초기값 문제를 통해 입력을 매핑하는 φ_t로 형식화한다.
• 토폴로지 보존으로 인해 NODE는 특정 간단한 함수와 고차원 함수를 표현할 수 없다는 것을 보인다(흐름은 동형사상이다).
• 상태를 R^d에서 R^{d+p}로 확장하고 초기 조건 [x; 0]로 확장 공간에서 ODE를 풀어 ANODE를 도입한다.
• 확장이 더 매끄럽고 간단한 흐름을 만들어 더 적은 함수 평가를 필요로 하며 이전에 표현할 수 없었던 함수를 표현 가능하게 할 것이라고 가정한다.
• 토이 함수와 이미지 데이터셋에서 NODE와 ANODE를 실증적으로 비교하고 학습 손실, NFEs, 정확도, 안정성 및 일반화를 조사한다.

실험 결과

연구 질문

• RQ1 Neural ODE가 토폴로지 보존으로 인해 표현하지 못하는 함수의 클래스는 무엇인가?
• RQ2 잠재 공간을 확장하면 NODE가 더 간단한 흐름으로 더 복잡한 함수를 표현할 수 있는가?
• RQ3 이미지 데이터에서 NODE와 비교하여 ANODE가 계산 비용을 낮추고 일반화를 개선하며 안정성을 높이는가?

주요 결과

• NODE는 흐름이 동형사상이라는 점 때문에 1D 및 고차원 함수 중 일부를 표현하지 못한다.
• ANODE는 확장된 공간에서 더 간단하고 매끄러운 흐름을 학습하고 유사한 작업에 대해 NODE보다 훨씬 적은 NFEs를 필요로 한다.
• ANODE는 MNIST, CIFAR-10, SVHN 및 64×64 ImageNet에서 비슷한 매개변수 수로 더 낮은 학습 손실과 더 나은 일반화를 달성한다.
• 확장은 학습 안정성을 향상시키고 NFEs를 줄이며 이미지 데이터셋에서 더 높은 정확도를 얻는 데 기여한다.
• NODE는 특정 함수 적합 시 불안정성과 높은 NFEs를 보이는 반면 ANODE는 안정적이고 효율적이다.