[논문 리뷰] A Flow Model of Neural Networks

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|2017. 08. 21.

Neural Networks and Applications참고 문헌 11인용 수 5

한 줄 요약

이 논문은 운반 방정식의 특성 방법과 ResNets를 연결함으로써 신경망을 위한 연속 흐름 모델을 제안한다. 잔차 블록이 속도 장의 오일러 이산화에서 유도됨을 보여주며, 깊이 있는 네트워크가 더 잘 일반화되는 이유, ReLU를 사용할 때 2층 잔차 블록이 최적임을 설명하고, 평범한 네트워크보다 더 깊이 있는 ResNets가 가능해지는 이유를 밝힌다. 이는 미분방정식의 관점에서 깊이 학습의 핵심 현상을 통합하고 설명한다.

ABSTRACT

Based on a natural connection between ResNet and transport equation or its characteristic equation, we propose a continuous flow model for both ResNet and plain net. Through this continuous model, a ResNet can be explicitly constructed as a refinement of a plain net. The flow model provides an alternative perspective to understand phenomena in deep neural networks, such as why it is necessary and sufficient to use 2-layer blocks in ResNets, why deeper is better, and why ResNets are even deeper, and so on. It also opens a gate to bring in more tools from the huge area of differential equations.

연구 동기 및 목표

• 미분방정식을 사용하여 ResNets와 평범한 신경망 모두에 대해 연속 흐름 모델을 수립하기.
• 운반 방정식과 그 특성의 관점에서, 잔차 연결의 필요성, 깊이의 이점, 2층 잔차 블록의 성공 등 깊이 학습 현상들을 설명하기.
• ResNets와 평범한 네트워크를 동일한 연속 프레임워크 아래 통합하여, ResNets가 같은 기반 흐름 모델의 시간 이산화를 통해 개선된 형태임을 보이기.
• 편미분방정식(PDE)과 동역학 시스템 도구를 활용해 깊이 학습 모델을 이해하고 개선할 수 있는 새로운 길을 열기.

제안 방법

• 선형 운반 방정식의 특성 상미방정식을 시간 이산화된 해로 모델링함으로써 ResNets를 정의하며, 속도 장은 네트워크 가중치와 활성화에 의해 매개변수화된다.
• 특성 방법을 사용하여 종단 값 함수 f(x)가 시간을 거꾸로 거슬러 올라가며 초기 입력을 산출함을 보여주며, 이는 신경망의 전방향 전파를 반영한다.
• 선형 변환과 비선형 활성화를 별도로 흐름으로 모델링하고, 이를 통합하여 평범한 네트워크의 연속 흐름 모델을 구성한다.
• 평범한 네트워크의 흐름 모델을 시간 이산화하는 방식으로 ResNet 아키텍처를 재구성함으로써, ResNets가 평범한 네트워크의 개선된 형태임을 입증한다.
• 신경망 학습을 운반 방정식의 역문제로 간주함: 초기 데이터를 목표 레이블로 매핑하는 시간에 따라 변하는 속도 장을 찾는 것.
• 기존의 PDE 기법—예를 들어 정규화 및 소산 항—을 활용하여, 드롭아웃 및 최적화와의 연결을 포함한 새로운 학습 전략을 제안한다.

실험 결과

연구 질문

• RQ1 ReLU 활성화를 사용할 때 ResNets가 2층 블록을 필요로 하는 이유는 무엇이며, 이는 왜 최적의 구조인가?
• RQ2 왜 일반적으로 더 깊은 아키텍처가 신경망에서 더 나은 성능을 내는가? 이는 연속 흐름 역학과 어떻게 관련이 있는가?
• RQ3 평범한 네트워크와 ResNets는 어떻게 연속 흐름 프레임워크를 통해 수학적으로 연결될 수 있는가?
• RQ4 운반 PDE의 해로 간주할 때 깊은 네트워크의 일반화와 학습 안정성에 대한 통찰은 무엇인가?
• RQ5 PDE의 역문제 기법을 어떻게 변형하여 신경망을 더 효과적으로 학습시킬 수 있는가?

주요 결과

• ResNets는 운반 방정식의 특성 상미방정식의 오일러 이산화와 수학적으로 동치이며, 잔차 학습에 대한 연속적 해석을 제공한다.
• ReLU 네트워크에서는 2층 잔차 블록이 필수적이다. 내부 가중치는 특성 공간 내 위치를 지정하고, 외부 가중치는 속도 크기와 방향을 제어하는데, 이는 ReLU의 비대칭성 때문이기 때문이다.
• 더 깊은 네트워크가 더 효과적인 이유는 연속 흐름 모델이 복잡한 데이터 변환을 달성하기 위해 작은 시간 간격과 많은 반복을 요구하기 때문이다. 이는 신경망의 깊이와 유사하다.
• ResNets는 본질적으로 평범한 네트워크보다 더 깊은데, 이는 동일한 기반 흐름 모델의 반복적인 이산화를 통해 개선되기 때문이다.
• 연속 흐름 모델은 ResNets가 더 쉽게 학습되는 이유를 설명한다. ResNets는 데이터를 점진적이고 규칙적으로 변형하기 때문이다. 반면 평범한 네트워크는 잠재적으로 비정상적인 변형을 겪을 수 있다.
• 학습의 역문제 공식화는 운반 방정식의 속도 장 최적화가 새로운 학습 알고리즘을 이끌 수 있음을 시사하며, 소산 정규화를 통한 드롭아웃과의 잠재적 연결도 제안한다.