[논문 리뷰] On the Mathematical Understanding of ResNet with Feynman Path Integral

Minghao Yin, Xiu Li외 2명|arXiv (Cornell University)|2019. 04. 16.

Model Reduction and Neural Networks참고 문헌 8인용 수 8

한 줄 요약

이 논문은 심층 학습에서 성공한 Residual Networks(ResNet)과 양자역학의 파이프라인 경로 적분 수식 간의 수학적 동치성을 확립한다. 잔차 블록이 편미분방정식(PDE)의 해에 해당하고, 네트워크의 전방향 전파가 $ e^{-S} $로 가중된 모든 가능한 경로의 합과 동치임을 보여주며, 여기서 $ S $는 작용(action)이다. 이 프레임워크는 잔차 학습의 강건성과 기울기 소실 문제의 완화를 경로 적분 해석을 통해 설명한다.

ABSTRACT

In this paper, we aim to understand Residual Network (ResNet) in a scientifically sound way by providing a bridge between ResNet and Feynman path integral. In particular, we prove that the effect of residual block is equivalent to partial differential equation, and the ResNet transforming process can be equivalently converted to Feynman path integral. These conclusions greatly help us mathematically understand the advantage of ResNet in addressing the gradient vanishing issue. More importantly, our analyses offer a path integral view of ResNet, and demonstrate that the output of certain network can be obtained by adding contributions of all paths. Moreover, the contribution of each path is proportional to e^{-S}, where S is the action given by time integral of Lagrangian L. This lays the solid foundation in the understanding of ResNet, and provides insights in the future design of convolutional neural network architecture. Based on these results, we have designed the network using partial differential operators, which further validates our theoritical analyses.

연구 동기 및 목표

• 잔차 블록이 심층 학습에서 기울기 소실 문제를 극복하는 데 성공한 데 대한 엄밀한 수학적 기초를 제공하는 것.
• 잔차 블록과 편미분방정식(PDE)의 해 사이에 공식적인 동치성을 수립하는 것.
• ResNet의 전방향 전파를 양자역학에 영감을 받은 모든 가능한 은닉 상태 경로의 합으로 해석하는 것.
• 기존의 컨볼루션 커널을 대체하는 새로운 PDE 기반 신경망 아키텍처를 통해 이론적 프레임워크를 검증하는 것.
• 이론적 분석과 실험적 분석을 통해 잔차 블록이 가중치 편향에 대해 얼마나 강건한지 보여주는 것.

제안 방법

• 푸리에 변환을 사용하여 잔차 블록과 주파수 도메인에서의 일阶 편미분방정식 간의 동치성을 유도하는 것.
• ResNet의 전방향 전파가 각 경로가 $ e^{-S} $ 비례하여 기여하는 경로 적분 수식과 동치임을 보여주는 것. 여기서 $ S $는 라그랑지안의 시간 적분이다.
• 파이프라인 경로 적분 수식을 활용하여 잔차 학습 과정을 모든 가능한 은닉 상태 전이의 합으로 재해석하는 것.
• 컨볼루션 커널을 두 번째 차수의 PDE 연산자로 대체한 PDE 기반 신경망(PDE-Net)을 구축하여 파rameter 수를 감소시키면서도 성능을 유지하는 것.
• 3×3 컨볼루션 커널을 1×3 및 3×1 컨볼루션으로 분해하여 파arameter 효율성과 PDE 연산자와의 동치성을 검증하는 것.
• CIFAR-10에서 실험을 수행하여, 잔차 블록에 대한 가중치 편향 하에서 ResNet, PDE-Net, 및 분해된 네트워크의 정확도와 강건성 간의 비교를 수행하는 것.

실험 결과

연구 질문

• RQ1 ResNet의 잔차 블록은 편미분방정식의 해에 공식적으로 매핑될 수 있는가?
• RQ2 ResNet의 전방향 전파가 모든 가능한 은닉 상태 경로의 파이프라인 경로 적분과 수학적으로 동치인가?
• RQ3 경로 적분 해석은 깊은 ResNets에서 훈련 안정성 향상과 기울기 소실 완화를 설명할 수 있는가?
• RQ4 PDE 연산자 기반의 신경망 아키텍처가 표준 ResNets와 유사한 성능을 달성하면서도 파라미터 수를 줄일 수 있는가?
• RQ5 표준 컨볼루션 네트워크에 비해 잔차 블록 아키텍처는 가중치 편향에 대해 얼마나 강건한가?

주요 결과

• 잔차 블록은 주파수 도메인에서 일阶 편미분방정식의 해와 수학적으로 동치이며, 잔차 연결이 시간 진화 연산자로 작용한다.
• ResNet의 전방향 전파는 각 경로의 기여가 $ e^{-S} $ 비례하는 파이프라인 경로 적분과 동치이며, 여기서 $ S $는 라그랑지안의 시간 적분이다.
• PDE 기반 네트워크(PDE-Net)는 ResNet과 유사한 테스트 정확도를 달성한다—50층의 CIFAR-10에서 93.21%로 이론적 동치성을 검증한다.
• 1×3 및 3×1 컨볼루션으로 3×3 커널을 분해함으로써 성능이 유지된다(50층 네트워크에서 정확도 94.02%), PDE 해석의 타당성을 확인한다.
• ResNet은 VGG-16과 같은 표준 CNN보다 가중치 편향에 대해 훨씬 더 강건하며, 노이즈 하에서 정확도 저하가 더 느리게 일어나며, 이는 $ e^{-S} $로 가중된 경로 적분 모델과 일치한다.
• 이론적 프레임워크는 스킵 연결이 기울기 소실을 방지하는 이유를 설명한다: 경로 적분 수식은 주파수 도메인에서의 지수 가중치를 통해 깊은 층 간의 안정적인 정보 흐름을 보장한다.