[논문 리뷰] Model-Constrained Deep Learning Approaches for Inverse Problems.

Hai V. Nguyen, Tan Bui–Thanh|arXiv (Cornell University)|2021. 05. 25.

Model Reduction and Neural Networks참고 문헌 34인용 수 6

한 줄 요약

이 논문은 과학적 및 공학적 역문제에서 물리적 수학 모델을 딥 뉴럴 네트워크에 통합하여 정확도와 일관성을 향상시키는 모델 제약을 받는 딥 러닝 접근법을 제안한다. 특히 데이터가 적은 환경에서 효과적이다. 기저 모델의 1차 최적성 조건을 통합함으로써 물리적 일관성을 보장하고 순수 데이터 기반 네트워크보다 뛰어난 성능을 발휘한다.

ABSTRACT

Deep Learning (DL), in particular deep neural networks (DNN), by design is purely data-driven and in general does not require physics. This is the strength of DL but also one of its key limitations when applied to science and engineering problems in which underlying physical properties (such as stability, conservation, and positivity) and desired accuracy need to be achieved. DL methods in their original forms are not capable of respecting the underlying mathematical models or achieving desired accuracy even in big-data regimes. On the other hand, many data-driven science and engineering problems, such as inverse problems, typically have limited experimental or observational data, and DL would overfit the data in this case. Leveraging information encoded in the underlying mathematical models, we argue, not only compensates missing information in low data regimes but also provides opportunities to equip DL methods with the underlying physics and hence obtaining higher accuracy. This short communication introduces several model-constrained DL approaches (including both feed-forward DNN and autoencoders) that are capable of learning not only information hidden in the training data but also in the underlying mathematical models to solve inverse problems. We present and provide intuitions for our formulations for general nonlinear problems. For linear inverse problems and linear networks, the first order optimality conditions show that our model-constrained DL approaches can learn information encoded in the underlying mathematical models, and thus can produce consistent or equivalent inverse solutions, while naive purely data-based counterparts cannot.

연구 동기 및 목표

• 순수 데이터 기반 딥 러닝이 과학적 및 공학적 역문제에서 안정성과 보존 법칙과 같은 물리적 제약 조건이 필수적인 경우에 한계를 보이는 것을 해결하기 위해.
• 기본 수학적 모델의 정보를 딥 러닝 아키텍처에 통합하여 데이터가 적은 환경에서 일반화 능력과 정확도를 향상시키기 위해.
• 역문제의 수학적 구조와 일치하는 딥 러닝 방법을 개발하여 물리적으로 타당한 해를 보장하기 위해.
• 기존의 최적화 방법과 동일하거나 유사한 해를 도출할 수 있는지, 표준 데이터 기반 네트워크와는 달리 모델 제약을 받는 네트워크의 성능을 입증하기 위해.
• 비선형 및 선형 역문제에 대해 모델 제약을 딥 러닝에 통합하는 데 이론적 및 실증적 근거를 제공하기 위해.

제안 방법

• 딥 뉴럴 네트워크의 손실 함수에 기초 역문제의 1차 최적성 조건을 통합한다.
• 피드포워드 딥 뉴럴 네트워크와 오토인코더를 사용하며, 이는 역문제의 수학적 모델에 의해 명시적으로 제약된다.
• 선형 문제 및 선형 네트워크의 경우, 학습된 해가 고전적 변분 방법과 동일한 최적성 조건을 만족함을 보장한다.
• 학습 목표에 모델 기반 정규화를 통해 양수성, 보존 법칙, 안정성과 같은 물리적 성질을 통합한다.
• 학습 데이터와 프로세스 모델의 구조를 모두 활용하여 네트워크 학습을 이끌어내어 데이터가 적은 환경에서 과적합을 줄인다.
• 네트워크가 역연산자를 근사하면서도 기초 물리 법칙을 존중하는 통합된 프레임워크를 유도한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델을 수학적 모델로 제약하여 역문제의 해의 일관성과 정확도를 향상시킬 수 있는가?
• RQ2 데이터가 적은 환경에서 모델 제약을 받는 학습 방식은 순수 데이터 기반 딥 러닝과 비교해 어떻게 다른가?
• RQ3 모델 제약을 받는 네트워크는 선형 역문제에서 고전적 최적화 방법과 동일한 해를 도출할 수 있는가?
• RQ4 1차 최적성 조건은 딥 러닝 기반 역문제 해의 물리적 일관성을 확보하는 데 어떤 역할을 하는가?
• RQ5 모델의 구조를 통합함으로써 데이터가 제한된 상황에서 과적합을 어떻게 줄일 수 있는가?

주요 결과

• 모델 제약을 받는 딥 러닝 접근법은 선형 역문제에 대해 고전적 변분 방법과 동일하거나 유사한 역해를 도출한다.
• 순수 데이터 기반 네트워크와는 달리, 모델 제약을 받는 네트워크는 안정성, 보존 법칙, 양수성과 같은 물리적 제약 조건을 준수한다.
• 수학적 모델에 포함된 정보를 활용함으로써 데이터가 적은 환경에서 과적합을 줄이는 데 성공한다.
• 선형 네트워크와 선형 문제의 경우, 모델의 1차 최적성 조건이 딥 러닝 해가 진짜 역해와 일치하도록 보장한다.
• 제안된 프레임워크는 데이터가 부족한 경우에도 표준 데이터 기반 접근법보다 더 잘 일반화하고 더 높은 정확도를 달성할 수 있도록 한다.
• 모델 제약을 통합함으로써 과학적 및 공학적 응용에서 더 신뢰할 수 있고 물리적으로 타당한 해를 도출할 수 있다.