[논문 리뷰] Neural Networks Trained to Solve Differential Equations Learn General Representations

Martin Magill, Faisal Z. Qureshi외 1명|arXiv (Cornell University)|2018. 06. 29.

Neural Networks and Applications인용 수 27

한 줄 요약

이 논문은 연속적으로 파arameter화된 미분방정식 작업에 대해 신경망 레이어의 일반성(generality)을 측정하기 위한 새로운 SVCCA 기반 방법을 제안한다. 이는 초기 레이어가 입력 도메인 전반에 걸쳐 일반적이고 공유되는 표현을 학습하는 반면, 더 깊은 레이어는 점점 더 작업에 특화됨을 발견하며, 이는 전이학습 기반 벤치마크와 일치하고 MNIST 데이터에서 검증됨을 보여준다.

ABSTRACT

We introduce a technique based on the singular vector canonical correlation analysis (SVCCA) for measuring the generality of neural network layers across a continuously-parametrized set of tasks. We illustrate this method by studying generality in neural networks trained to solve parametrized boundary value problems based on the Poisson partial differential equation. We find that the first hidden layers are general, and that they learn generalized coordinates over the input domain. Deeper layers are successively more specific. Next, we validate our method against an existing technique that measures layer generality using transfer learning experiments. We find excellent agreement between the two methods, and note that our method is much faster, particularly for continuously-parametrized problems. Finally, we also apply our method to networks trained on MNIST, and show it is consistent with, and complimentary to, another study of intrinsic dimensionality.

연구 동기 및 목표

• 연속적으로 파arameter화된 작업 간에 신경망 레이어의 일반성 측정을 위한 빠르고 확장 가능한 방법을 개발하는 것.
• 포아송 PDE에 의해 지배되는 파arameterized 경계값 문제를 해결하도록 훈련된 네트워크에서 레이어 간 표현 학습의 진화를 조사하는 것.
• 특히 연속적인 작업 설정에서, 기존의 전이학습 기반 일반성 측정 방법과의 비교를 통해 제안된 방법을 검증하는 것.
• 기본적인 시각 기준 벤치마크인 MNIST와 같은 곳에서도 동일한 일반성 패턴이 유지되는지 탐색하고, 그 결과를 내재 차원성(intrinsic dimensionality)과 연관지키는 것.

제안 방법

• 파arameterized PDE 작업의 서로 다른 인스턴스에서 훈련된 신경망의 레이어 간 특징 표현을 비교하기 위해 특이벡터공간상관분석(SVCCA)을 적용한다.
• 포아송 방정식의 다양한 파라미터 값에 대해 SVCCA를 사용하여 레이어 표현 간 유사도를 계산함으로써 표현이 얼마나 불변적이거나 일반적인지를 정량화한다.
• 전이학습 실험에서 얻은 일반성 점수와 SVCCA 기반 일반성 점수를 비교하여 검증을 위한 기준을 설정한다.
• 일반적인 MNIST 훈련 네트워크와 PDE 해결 네트워크 양쪽에 이 방법을 적용하여 내재 차원성 연구와의 일관성과 상호보완성을 테스트한다.
• 여러 작업에 걸쳐 주어진 레이어와 기준 레이어(예: 첫 번째 은닉 레이어) 간의 SVCCA 유사도를 계산하여 레이어별 일반성 분석을 수행한다.
• 포아송 PDE의 경계 조건을 연속적으로 파라미터화하여 부드럽게 변화하는 작업 분포를 모델링함으로써 표현 진화의 세밀한 분석이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 파라미터화된 포아송 경계값 문제의 가족을 해결할 때, 신경망 표현의 일반성은 레이어 간에 어떻게 변화하는가?
• RQ2 SVCCA 기반 일반성 측정은 초기 레이어에서 공유되는 일반 표현을 탐지하는 데 있어 깊은 레이어의 작업에 특화된 표현보다 신뢰할 수 있는가?
• RQ3 특히 연속적인 작업 가족에 대해, 제안된 SVCCA 기반 방법은 전이학습 기반 일반성 추정에 비해 성능과 정확도에서 어떻게 비교되는가?
• RQ4 PDE 해결 네트워크에서 관찰된 일반성 패턴은 기본적인 시각 기준 벤치마크인 MNIST에서도 동일하게 나타나는가? 그리고 내재 차원성 연구 결과와 어떻게 일치하는가?

주요 결과

• 파라미터화된 포아송 PDE를 해결하도록 훈련된 신경망의 첫 번째 은닉 레이어는 입력 도메인 전반에 걸쳐 일반적인 좌표를 학습하는 높은 일반성을 보인다.
• 더 깊은 레이어로 갈수록 점점 더 개별 작업에 특화되어 표현 학습의 계층적 조직이 이루어짐을 시사한다.
• SVCCA 기반 일반성 측정은 전이학습 기반 방법과 뛰어난 일치를 보이며, 그 신뢰성을 검증한다.
• 특히 연속적으로 파라미터화된 문제에서, 이 방법은 전이학습보다 훨씬 빠르며, 고차원 작업 공간에 적합하다.
• MNIST에 적용했을 때 PDE 해결 네트워크에서 관찰된 일반성 패턴은 내재 차원성 연구 결과와 일관되며, 상호보완적인 통찰을 제공한다.
• 이 방법은 네트워크 깊이에 따라 일반적인 표현에서 특정 표현으로의 전이를 명확히 식별함으로써, 계층적 특징 학습 가설을 지지한다.