[논문 리뷰] SwitchNet: a neural network model for forward and inverse scattering problems

Yuehaw Khoo, Lexing Ying|arXiv (Cornell University)|2018. 10. 23.

Geophysical Methods and Applications참고 문헌 16인용 수 9

한 줄 요약

SwitchNet는 헬름홀츠 방정식에 대한 전방 및 역산산 맵을 효율적으로 학습하기 위해 완전히 연결된 연결 대신 저질서, 희소한 스위칭 레이어를 활용하는 새로운 신경망 아키텍처입니다. 이로 인해 매개변수 수를 크게 줄이면서도 산란체를 산란된 필드로부터 복원하거나 그 반대로 복원하는 데 높은 정확도를 유지합니다.

ABSTRACT

We propose a novel neural network architecture, SwitchNet, for solving the wave equation based inverse scattering problems via providing maps between the scatterers and the scattered field (and vice versa). The main difficulty of using a neural network for this problem is that a scatterer has a global impact on the scattered wave field, rendering typical convolutional neural network with local connections inapplicable. While it is possible to deal with such a problem using a fully connected network, the number of parameters grows quadratically with the size of the input and output data. By leveraging the inherent low-rank structure of the scattering problems and introducing a novel switching layer with sparse connections, the SwitchNet architecture uses much fewer parameters and facilitates the training process. Numerical experiments show promising accuracy in learning the forward and inverse maps between the scatterers and the scattered wave field.

연구 동기 및 목표

• 역산산 문제에서 산란체와 산란된 파동장 사이의 전역적이고 국소적이지 않은 사상 학습에 도전합니다.
• 지역 연결에 의존하는 표준 컨볼루션 네트워크의 한계를 극복하여 장거리 파동 전파 효과를 포착하지 못하는 문제를 해결합니다.
• 입력 크기의 제곱에 비례하는 매개변수 수를 가지는 완전히 연결된 네트워크의 매개변수 수를 줄이기 위해 산란 연산자의 저질서 구조를 활용합니다.
• 전역 정보 흐름을 유지하면서도 계산 효율성을 확보하는 훈련 가능한 희소 스위칭 레이어를 개발합니다.
• 2차원 시간 조화 음향 산란에서 전방 ($\eta \rightarrow d$) 및 역산산 ($d \rightarrow \eta$) 사상의 엔드 투 엔드 학습을 가능하게 합니다.

제안 방법

• 블러드 파라미터화에 영감을 얻어 입력 및 출력 특징 간의 전역적이고 희소적인 연결을 가능하게 하는 새로운 스위칭 레이어를 도입합니다.
• 산란 연산자의 저질서 근사화를 사용하여 스위칭 레이어를 $O(N \log N)$ 복잡도로 구성함으로써 $O(N^2)$ 복잡도를 대체합니다.
• 역사상 ($d \rightarrow \eta$)과 전방사상 ($\eta \rightarrow d$)을 위한 두 개의 브랜치 아키텍처를 설계하며, 공유 구성 요소를 포함합니다.
• 주파수 의존적 스케일링을 모델링하고 표현 능력을 향상시키기 위해 포인트와이즈 곱셈(PM) 레이어를 통합합니다.
• 전방 및 역산산 네트워크에서 계층적 특징을 추출하기 위해 가중치를 학습 가능한 필터를 갖춘 일련의 컨볼루션 레이어를 적용합니다.
• 스위칭 레이어와 컨볼루션 블록 간의 인터페이스를 확보하기 위해 벡터화 및 리셰이핑 연산을 사용하여 차원 일致성을 유지합니다.

실험 결과

연구 질문

• RQ1 딥 신경망 아키텍처는 시간 조화 음향 산란에서 산란체와 산란된 파동장 사이의 전방 및 역산산 맵을 효과적으로 학습할 수 있는가?
• RQ2 산란체가 산란장에 미치는 전역적 영향을 고려할 때, 지역 연결 가정을 위반하는 문제를 어떻게 신경망 아키텍처로 해결할 수 있는가?
• RQ3 산란 연산자의 저질서 구조를 활용하면 완전히 연결된 네트워크의 매개변수 수를 어느 정도 줄일 수 있는가?
• RQ4 정확도를 유지하면서 학습 비용을 낮추기 위해 훈련 가능한 희소 스위칭 레이어가 완전히 연결된 레이어를 역산산 문제에서 대체할 수 있는가?
• RQ5 제안된 SwitchNet은 지반 이미징 및 원거리장 패턴 복원에서 다양한 산란체 구성과 노이즈 수준에 대해 얼마나 잘 일반화되는가?

주요 결과

• 지반 이미징 설정에서 $n_s = 3$ 산란체에 대해 SwitchNet은 전방사상 예측 오차가 7.7e-02(상대 오차)를 기록합니다.
• 역사상은 $n_s = 3$일 때 테스트 오차가 2.2e-02를 기록하여 산란 데이터로부터 산란체를 재구성하는 데 강력한 일반화 능력을 보입니다.
• $n_s = 4$ 산란체일 경우, 역사상 오차는 5.1e-02로 증가하여 복잡도 증가에 따른 중간 정도의 열화를 보였지만 여전히 수용 가능한 수준입니다.
• 그림 7의 시각적 비교에서 복잡한 구성조차도 SwitchNet이 산란장과 산란체 분포를 정확히 재구성하는 것으로 나타났습니다.
• 모델은 희소 스위칭 레이어와 저질서 구조 덕분에 단지 290만 개의 매개변수만을 사용하여 완전히 연결된 네트워크보다 훨씬 적은 매개변수를 확보합니다.
• 이 아키텍처는 고주파수 파동장을 효과적으로 포착하고, 반복적인 PDE 해법 없이도 엔드 투 엔드 학습을 가능하게 하여 전통적인 역산산 방법에 비해 빠른 대안을 제공합니다.