[논문 리뷰] Stable Neural Flows

Stefano Massaroli, Michael Poli외 4명|arXiv (Cornell University)|2020. 03. 18.

Model Reduction and Neural Networks참고 문헌 22인용 수 11

한 줄 요약

이 논문은 신경망으로 파arameter화된 에너지 기반 기능의 단조 감소하는 등치면 위에서 궤도가 진화하는 신뢰성 있는 안정성 보장이 있는 신경 ODE의 변종인 안정성 있는 신경 유동을 소개한다. 벡터장은 이 에너지의 음의 기울기로 구성되어 있어 점점 감소하는 에너지 경로를 보장함으로써 점근적 안정성을 확보하고, 입력의 변화에 대한 민감도를 줄이며 수치적 효율성을 향상시킨다. 실험 결과로는 기준 데이터셋에서 함수 근사 및 비선형 분류 작업에서 성공적인 성능을 보였다.

ABSTRACT

We introduce a provably stable variant of neural ordinary differential equations (neural ODEs) whose trajectories evolve on an energy functional parametrised by a neural network. Stable neural flows provide an implicit guarantee on asymptotic stability of the depth-flows, leading to robustness against input perturbations and low computational burden for the numerical solver. The learning procedure is cast as an optimal control problem, and an approximate solution is proposed based on adjoint sensivity analysis. We further introduce novel regularizers designed to ease the optimization process and speed up convergence. The proposed model class is evaluated on non-linear classification and function approximation tasks.

연구 동기 및 목표

• 입력의 변화에 의해 혼돈스럽거나 불안정한 동역학을 유도할 수 있는 표준 신경 ODE에서 안정성 보장의 부족을 해결한다.
• 벡터장을 신경망으로 파arameter화된 에너지 기반 기능에 통합함으로써 안정적인 깊이 유동에 대한 이론적 기반을 제공한다.
• 에너지 경로가 절대 증가하지 않도록 보장함으로써 학습된 유동의 점근적 안정성을 확보한다.
• 에너지 감소 방향으로 동역학을 제약하여 ODE 해법기의 수치적 강성과 악성 공격에 대한 강건성을 향상시킨다.
• 학습 목표에 새로운 정규화 항을 도입함으로써 평형 상태에 수렴하는 속도를 가속화한다.

제안 방법

• 시스템의 리아푸노프 함수로 기능하는 신경망으로 파arameter화된 에너지 함수 ε(x, u; w)를 정의한다.
• 에너지의 음의 기울기 f = −∂xε로 벡터장을 구성함으로써 궤도를 따라 에너지가 단조 감소하도록 보장한다.
• 데이터 적합성과 종단 상태 정규화를 포함한 비용 함수를 사용하여 최적 제어 문제로 학습을 공식화한다.
• 첨부된 감도 분석을 사용하여 ODE 해법을 통해 역전파가 가능한 기울기를 계산한다.
• 종단 정규화 항 ℓ⋆_t = ℓ_t + (γ/2)∥∂xε∥²을 도입하여 최종 깊이 이전에 평형 상태로 수렴하도록 유도한다.
• 종단 및 역전파된 기울기를 모두 처리할 수 있는 재귀적 기울기 하강 절차를 사용하여 모델을 최적화한다.

실험 결과

연구 질문

• RQ1 신경 ODE의 동역학을 신경망으로 파arameter화된 에너지 기반 기능을 따라 감소시키는 방식으로 제약하면, 증명 가능한 안정성을 확보할 수 있는가?
• RQ2 에너지 감소를 강제로 적용할 경우, 입력의 변화 및 악성 공격에 대한 강건성은 어떻게 영향을 받는가?
• RQ3 제안된 에너지 기반 구조는 ODE 해법기에서 수렴성 향상과 계산 비용 감소에 기여하는가?
• RQ4 에너지 기능이 분류 및 함수 근사 작업에서 의미 있는 데이터 의존성 다양체를 학습할 수 있는가?
• RQ5 종단 정규화 항을 추가하면 깊이 영역에서 평형 상태로 수렴하는 데 속도가 얼마나 향상되는가?

주요 결과

• 안정성 있는 신경 유동은 궤도를 따라 에너지 기능이 단조 감소하도록 보장함으로써 증명 가능한 점근적 안정성을 달성한다.
• 에너지 기반 동역학의 본질적 안정성 덕분에 입력 변화 및 악성 공격에 대한 강건성이 입증되었다.
• 반달과 삼중 나선 데이터셋에서, 모델은 입력 점들을 선형으로 분리 가능한 다양체로 안정적으로 이동시키며, 깊이 S = 1 이전에 수렴하는 유동을 통해 정확한 분류를 달성했다.
• y = −u의 함수 근사 작업에서, 모델은 표적 함수와 일치하는 가장 급강하 방향을 가지는 데이터 의존성 에너지 기능을 학습했다.
• γ = 10⁻²로 설정된 종단 정규화 항 ℓ⋆_t를 포함함으로써 깊이 영역에서 평형 상태로 수렴하는 데 상당한 가속 효과가 있었으며, 이는 깊이 영역에서의 조기 수렴을 통해 뚜렷하게 확인되었다.
• 첨부된 감도 분석을 사용함으로써 안정성 제약 조건에도 불구하고 낮은 계산 오버헤드를 유지하면서 효율적인 학습이 가능했다.