[논문 리뷰] Blending Diverse Physical Priors with Neural Networks

Yunhao Ba, Guangyuan Zhao외 1명|arXiv (Cornell University)|2019. 10. 01.

Neural Networks and Applications참고 문헌 50인용 수 33

한 줄 요약

본 논문은 PhysicsNAS를 제안하는데, 물리적 priors를 신경망과 결합한 미분 가능한 신경망 아키텍처 탐색(NAS) 방법으로서, 다양한 데이터와 모델 정확도에 걸친 물리 기반 학습을 향상시킵니다.

ABSTRACT

Machine learning in context of physical systems merits a re-examination of the learning strategy. In addition to data, one can leverage a vast library of physical prior models (e.g. kinematics, fluid flow, etc) to perform more robust inference. The nascent sub-field of \emph{physics-based learning} (PBL) studies the blending of neural networks with physical priors. While previous PBL algorithms have been applied successfully to specific tasks, it is hard to generalize existing PBL methods to a wide range of physics-based problems. Such generalization would require an architecture that can adapt to variations in the correctness of the physics, or in the quality of training data. No such architecture exists. In this paper, we aim to generalize PBL, by making a first attempt to bring neural architecture search (NAS) to the realm of PBL. We introduce a new method known as physics-based neural architecture search (PhysicsNAS) that is a top-performer across a diverse range of quality in the physical model and the dataset.

연구 동기 및 목표

• 부분적으로 알려진 물리적 선행 지식을 데이터 기반 추론과 결합하는 것을 고무하여 강건성 및 일반화 성능을 향상시키는 동기를 제시한다.
• 데이터 품질과 물리 정확도를 공동으로 고려하는 일반화 가능한 아키텍처 검색 프레임워크를 개발한다.
• 물리 입력, 물리 연산 집합, 그리고 엣지 가중치 정규화를 포함하는 탐색 공간과 학습 프로토콜을 만든다.
• 물리 법칙과 데이터 품질이 다양한 과제에서 PhysicsNAS가 수작업으로 설계된 PBL 방법보다 우수함을 입증한다.

제안 방법

• 네트워크에 물리 입력을 추가하여 물리 기반 학습에 미분 가능한 NAS를 확장한다.
• 신경망 및 전용 물리적 순전파 연산을 포함하는 물리 정보를 반영한 연산 집합을 도입한다.
• 물리 연산자로 인해 도입되는 자유도 차이를 완화하기 위해 에지 가중치로 에지 선택을 정규화한다.
• 아키텍처 매개변수 최적화와 표준 네트워크 가중치 최적화를 교대로 수행하는 두 단계 학습 프로세스를 사용한다.
• priors가 불일치하는 두 가지 시뮬레이션 물리 과제(투척 궤적과 충돌 속도)를 평가한다.
• 탐색된 아키텍처와 그것들이 물리 선행 지식을 순전히 데이터 기반 구성요소와 비교해 어떻게 활용하는지에 대한 분석을 제공한다.

실험 결과

연구 질문

• RQ1 NAS를 자동으로 발굴하여 물리 선행 지식과 학습 데이터의 품질이 다양한 경우를 견딜 수 있는 PBL 아키텍처를 발견하도록 조정할 수 있는가?
• RQ2 다양한 수준의 모델 불일치와 데이터 가용성에서 물리 정보를 활용한 아키텍처가 수작업으로 설계된 PBL 모델을 능가하는가?
• RQ3 priors를 NAS에 효과적으로 통합하기 위해 물리 입력, 연산, 에지 가중치를 어떻게 설계해야 하는가?

주요 결과

• PhysicsNAS는 과제와 불일치 조건 전반에서 수작업으로 설계된 PBL 방법들보다 지속적으로 우수하며, 시나리오에 따라 개선 폭이 다르게 나타난다.
• PhysicsNAS 아키텍처는 모든 탐색 설계에서 물리 입력을 사용하는 경향이 있으며, 선행 물리 정보를 통합하는 가치가 입증된다.
• 물리 연산의 선택은 물리 선행 지식과 데이터의 품질에 따라 달라지며, 물리가 완벽하지 않은 경우 잔차 연결이 종종 선호된다.
• PhysicsNAS는 데이터 요구를 줄여 학습 샘플이 적어도 비슷한 성능을 달성한다(예: Naive MLP의 256개에 비해 <64개 샘플).
• 수렴된 PhysicsNAS 아키텍처는 신뢰할 수 있을 때 정확한 물리 연산을 내재화하고, 선행 지식이 노이즈일 때 잔여 또는 융합 전략을 선호하는 등의 원리를 보여준다.