[논문 리뷰] A multiscale neural network based on hierarchical matrices

Yuwei Fan, Lin Lin외 2명|arXiv (Cornell University)|2018. 07. 05.

Neural Networks and Applications참고 문헌 61인용 수 23

한 줄 요약

이 논문은 부분 미분 방정식과 적분 방정식의 비선형 사상들을 효율적으로 근사하기 위해 계층 행렬($Σ$-행렬)에 영감을 받은 다중 척도 신경망(MNN)을 소개한다. 여러 공간 척도에서 선형 커널 연산을 깊이 있는 비선형 네트워크로 대체함으로써 MNN는 $O(N\log N)$ 복잡도를 달성하고, 비선형 슈뢰딩거 방정식과 코른-샤문 밀도 기반 이론에서 유래한 도전적인 비선형 사상들조차도 훈련 데이터가 제한된 상황에서도 상대 오차 $10^{-4}$에서 $10^{-3}$ 수준으로 근사한다.

ABSTRACT

In this work we introduce a new multiscale artificial neural network based on the structure of $\mathcal{H}$-matrices. This network generalizes the latter to the nonlinear case by introducing a local deep neural network at each spatial scale. Numerical results indicate that the network is able to efficiently approximate discrete nonlinear maps obtained from discretized nonlinear partial differential equations, such as those arising from nonlinear Schrödinger equations and the Kohn-Sham density functional theory.

연구 동기 및 목표

• 비선형 PDE 및 적분 방정식의 해 사상 근사를 위한 높은 계산 비용 문제를 해결하기 위해, 특히 전역 매개변수화가 금방이 되는 수준의 매개변수 수를 요구할 경우에 대비한다.
• 선형 문제에 성공적으로 적용된 계층 행렬 프레임워크를 비선형 영역으로 확장하기 위해 깊이 있는 신경망을 사용한다.
• 다중 척도 구조와 계층적 압축을 활용한 매개변수 효율적인 아키텍처를 개발하여 비선형 연산자에 대응한다.
• 비선형 슈뢰딩거 방정식과 코른-샤문 사상과 같은 매우 비선형적인 사상들에 대해 본 방법의 효과성을 입증한다.
• 훈련 데이터가 제한된 상황에서도 과적합이 최소화되고 일반화 성능이 뛰어나다는 것을 보여준다.

제안 방법

• $Σ$-행렬 연산을 세 가지 구성 요소로 재구성한 신경망으로 재구성한다: 제한(LCR), 커널(LCK), 보간(LCI) 네트워크로, 각각 다른 공간 척도에서 작동한다.
• LCK 네트워크는 비선형 사상을 모델링하기 위해 활성화 함수를 갖는 깊이 있는 다층 네트워크로 대체되며, LCR와 LCI는 차원 감소 및 재구성에 대해 선형 유지된다.
• 네트워크 아키텍처는 계층적으로 구성된다: 굵은 척도 표현은 비선형 커널을 거쳐 더 세밀한 척도로 보간되며, 모든 척도에서의 기여를 합산한다.
• 이 아키텍처는 매핑의 이동 불변성 여부에 따라 국소 연결(LC) 또는 컨볼루션(CNN) 네트워크를 지원한다.
• 연산자의 다중 척도 분해를 사용하여 근접 영역 기여는 대각 행렬로 처리하고, 원거리 상호작용은 계층적 낮은 질량 구조로 압축한다.
• 기본 PDE 또는 IE로부터의 입력-출력 쌍 데이터셋을 기반으로 손실을 최소화하여, 해 사상 $u = \mathcal{M}(v)$를 근사하는 데 끝에서 끝까지 훈련한다.

실험 결과

연구 질문

• RQ1 깊이 있는 신경망을 통해 계층 행렬 구조를 비선형 연산자로 일반화할 수 있을까? 이때 저비용 복잡도를 유지할 수 있는가?
• RQ2 $Σ$-행렬 기반의 다중 척도 신경망 아키텍처가 매우 비선형적인 PDE 및 IE 해 사상 근사에 대해 소수의 매개변수로도 높은 정확도를 달성할 수 있는가?
• RQ3 제한된 훈련 샘플이 있는 상황에서도 제안된 MNN 아키텍처가 새로운 데이터에 잘 일반화되는가?
• RQ4 문제 크기가 커질수록 네트워크 성능은 어떻게 변화하는가? 대규모 문제에 대해 $O(N\log N)$ 복잡도를 달성할 수 있는가?
• RQ5 이 아키텍처는 진동적 또는 비주기적인 행동을 보이는 다양한 종류의 연산자에 대해도 적응 가능할까?

주요 결과

• Kohn-Sham 사상에 대해 2차원 케이스에서 $K=6$일 때, 16,000개의 훈련 샘플과 4,000개의 테스트 샘플을 사용하여 상대 근사 오차가 $1.2 \times 10^{-3}$에서 $9.1 \times 10^{-4}$ 수준을 기록한다.
• 비선형 슈뢰딩거 방정식의 경우, 상대 오차 범위가 $10^{-4}$에서 $10^{-3}$ 수준으로 나타나 매우 비선형적인 사상에 대해 높은 정확도를 보인다.
• 다양한 질량 매개변수 $r$에 대해 훈련 및 검증 오차가 일관되게 유지되어 제한된 훈련 데이터 상황에서도 과적합이 발생하지 않음을 나타낸다.
• MNN의 계산 복잡도는 $O(N\log N)$로 스케일링되어 반복 평가가 필요한 대규모 문제에 대해 효율적이다.
• 다양한 매개변수 영역에 걸쳐 잘 일반화되어 입력 매개변수의 변동성에 대해 강건함을 시사한다.
• 아키텍처는 영리하게 확장 가능하며, 비주기적 도메인, 혼합 LC/CNN 구성 요소, $Σ^2$-행렬 또는 웨이블릿과 같은 다른 계층 행렬 구조로도 적용 가능하다.