[논문 리뷰] Deep Residual Learning and PDEs on Manifold

Zhen Li, Zuoqiang Shi|arXiv (Cornell University)|2017. 08. 17.

Medical Imaging and Analysis참고 문헌 9인용 수 31

한 줄 요약

이 논문은 다양체 위의 운반 방정식에 대한 제어 문제로 깊이 있는 잔차 신경망(ResNets)을 공식화하며, 잔차 블록이 특성의 전진 오일러 이산화와 정확히 일치함을 보여준다. 포인트 클라우드에서 운반, 해밀턴-자비, 점성 해밀턴-자비 방정식을 사용하는 새로운 PDE 기반 딥러닝 모델을 제안하며, 포인트 적분 방법과 가중치가 부여된 국소 외래 라플라스 연산자를 통한 이산화를 적용한다.

ABSTRACT

In this paper, we formulate the deep residual network (ResNet) as a control problem of transport equation. In ResNet, the transport equation is solved along the characteristics. Based on this observation, deep neural network is closely related to the control problem of PDEs on manifold. We propose several models based on transport equation and Hamilton-Jacobi equation. The discretization of these PDEs on point cloud is also discussed.

연구 동기 및 목표

• 딥 잔차 신경망과 PDE의 특성 방법 사이의 이론적 연결을 수립하기 위해.
• 다양체 위의 운반 방정식에 의해 지배되는 제어 문제로 ResNet 학습을 재구성하기 위해.
• 표준 아키텍처를 초월해 구성 요소(예: 종단 값, 속도장, 수치적 방법)를 다른 PDE 모델로 대체함으로써 ResNet을 일반화하기 위해.
• 포인트 적분 방법과 가중치가 부여된 국소 외래 라플라스 연산자를 사용하여 비정규 구조의 포인트 클라우드에서 PDE를 해결하는 프레임워크를 개발하기 위해.
• 해밀턴-자비 및 점성 해밀턴-자비 방정식을 사용하여 안정성과 일반화 능력 향상이 가능한 새로운 딥러닝 모델을 탐색하기 위해.

제안 방법

• R^d에서 선형 운반 방정식에 대한 종단-경계값 문제로 ResNet을 재구성하며, 잔차 매핑을 속도장으로 간주한다.
• 속도장을 두 층의 ReLU-BatchNorm 네트워크로 모델링하여, 전진 오일러 이산화를 통해 잔차 블록 연산과 직접 연결한다.
• 운반 방정식의 특성을 이용해 입력 데이터 포인트를 시간에 따라 거슬러 올라가 추적함으로써, ResNet의 전방향 전파를 수치적 해로 복원한다.
• 기존의 운반 방정식 외에 해밀턴-자비 방정식(절대 기울기 항 포함)과 점성 해밀턴-자비 방정식(라플라스-벨트라미 소산 항 포함)을 사용하는 대안 PDE 모델을 제안한다.
• 포인트 클라우드에서 PDE를 포인트 적분 방법(PIM)을 통해 이산화하여, 커널 기반 적분을 이용해 다양체 기울기와 라플라스-벨트라미 연산자를 근사한다.
• 점성 모델에서 과도한 평탄화를 방지하기 위해 레이블이 부여된 훈련 포인트에 제약 조건을 도입함으로써 데이터 무결성을 유지하면서도 해의 정규성을 확보한다.

실험 결과

연구 질문

• RQ1 잔차 신경망 아키텍처는 PDE 제어 문제의 수치적 해로 해석될 수 있는가?
• RQ2 운반 방정식의 특성과 이산화 방법은 딥 네트워크의 잔차 블록 연산과 어떻게 연결되는가?
• RQ3 해밀턴-자비, 점성 HJ 등과 같은 대안 PDE 모델은 표준 잔차 학습을 초월해 ResNet을 어떻게 일반화할 수 있는가?
• RQ4 정규 격자가 없는 비정규 구조의 포인트 클라우드에서 PDE를 효과적으로 해결할 수 있는가?
• RQ5 라플라스-벨트라미 연산자를 통한 소산은 다양체 위의 PDE 기반 딥러닝 모델의 안정성에 어떤 역할을 하는가?

주요 결과

• ResNet 학습은 잔차 매핑이 속도장을 정의하는 특성에 沿해 운반 방정식에 대한 제어 문제를 푸는 것과 정확히 동일하다.
• 운반 방정식의 특성 흐름에 대한 전진 오일러 이산화가 정확히 하나의 잔차 블록을 복원하므로, PDE와 신경망 사이의 직접적인 대응 관계를 확립한다.
• 표준 소프트맥스 종단 값을 가중치가 부여된 국소 외래 라플라스 연산자로 대체함으로써 성능 향상이 가능함을 보여주며, 반감독 학습에 적합한 종단 값 모델링 개선 가능성을 시사한다.
• 점성 해밀턴-자비 방정식 모델은 레이블이 부여된 포인트에 대한 제약 조건을 통해 데이터 무결성을 유지하면서도 소산 항을 통해 해를 정규화한다.
• 포인트 클라우드에서의 이산화 방법으로 포인트 적분 방법(PIM)을 사용하여 다양체 기울기와 라플라스-벨트라미 연산자를 커널 가중 적분을 통해 근사한다.
• 이 프레임워크는 대체 수치 해법 및 PDE 구성 요소의 사용을 가능하게 하여, PDE 이론에 기반한 새로운 딥러닝 모델 설계의 새로운 길을 열어준다.