[논문 리뷰] Migrating Knowledge between Physical Scenarios based on Artificial Neural Networks

Yurui Qu, Li Jing외 3명|arXiv (Cornell University)|2018. 08. 27.

Neural Networks and Reservoir Computing참고 문헌 23인용 수 5

한 줄 요약

이 논문은 소규모 데이터셋을 가진 물리기반 문제에서 예측 정확도를 향상시키기 위해 인공 신경망을 사용한 전이학습 프레임워크를 제안한다. 유사하거나 상이한 물리적 시나리오(예: 다층 필름 및 코어-쉘 나노입자) 간의 지식 전이를 통해 상대 오차를 최대 50.5%까지 감소시켜, 전이학습이 단순히 정규화 효과를 넘어서 기초 물리 법칙을 포착한다는 것을 입증한다.

ABSTRACT

Deep learning is known to be data-hungry, which hinders its application in many areas of science when datasets are small. Here, we propose to use transfer learning methods to migrate knowledge between different physical scenarios and significantly improve the prediction accuracy of artificial neural networks trained on a small dataset. This method can help reduce the demand for expensive data by making use of additional inexpensive data. First, we demonstrate that in predicting the transmission from multilayer photonic film, the relative error rate is reduced by 46.8% (26.5%) when the source data comes from 10-layer (8-layer) films and the target data comes from 8-layer (10-layer) films. Second, we show that the relative error rate is decreased by 22% when knowledge is transferred between two very different physical scenarios: transmission from multilayer films and scattering from multilayer nanoparticles. Finally, we propose a multi-task learning method to improve the performance of different physical scenarios simultaneously in which each task only has a small dataset.

연구 동기 및 목표

• 소규모이고 생성 비용이 높은 데이터셋에서 물리 문제에 대한 딥러닝 성능이 열 劣하는 문제를 해결하기 위해.
• 한 물리적 시나리오에서 학습한 지식이 매우 다른 다른 시나리오로 효과적으로 전이될 수 있는지 조사하기 위해.
• 전이학습이 L2, L1, 드롭아웃과 같은 표준 정규화 기법보다 성능을 향상시키는지 입증하기 위해.
• 제한된 데이터를 가진 여러 관련 물리 문제에서 성능을 향상시키기 위한 다중작업 학습 접근법을 개발하기 위해.
• 향상된 성능이 정규화 효과가 아닌 공유되는 물리 원리 학습에 기인한다는 것을 검증하기 위해.

제안 방법

• 풍부하고 저비용인 데이터가 있는 소스 물리 시나리오(예: 10층 다층 필름의 투과)에서 학습된 딥 신경망 아키텍처를 사용한다.
• 다른 관련 물리 시나리오(예: 8층 필름 또는 나노입자에서의 산산이 흩广大群众)에 대해 사전 학습된 소스 네트워크의 지식을 타겟 네트워크로 전이한다.
• 유사한 시나리오(예: 필름의 층 수가 다른 경우)와 상이한 시나리오(예: 투과 대비 산산이 흩广大群众) 간에 공유된 특징 표현을 사용하여 전이학습을 적용한다.
• 다중작업 학습 프레임워크를 구현하여, 관련된 여러 물리 작업을 동시에 학습하고 하위 레이어를 공유함으로써 일반화 성능을 향상시킨다.
• 음성 전이를 방지하기 위해 네트워크의 최적의 일반 및 특정 레이어를 식별하기 위해 그리드 서치를 사용한다.
• 기준 모델에 정규화 기법(L2, L1, 드롭아웃)을 적용하여 성능 향상의 원인이 정규화인지 진정한 지식 전이인지 테스트한다.

실험 결과

연구 질문

• RQ1 학습 데이터가 제한된 물리기반 문제에서 전이학습이 예측 오차를 상당히 감소시킬 수 있는가?
• RQ2 다층 필름의 투과와 코어-쉘 나노입자에서의 산산이 흩广大群众과 같은 물리적으로 상이한 시스템 간의 지식 전이도 성능 향상에 기여하는가?
• RQ3 다중작업 학습이 여러 소규모 데이터셋을 가진 물리 문제에서 동시에 예측 정확도를 향상시킬 수 있는가?
• RQ4 전이학습의 성능 향상 원인이 공유되는 물리 원리 학습인지, 단지 정규화 효과 때문인가?
• RQ5 관련성이 없는 물리적 시나리오 간에 지식을 전이할 때 음성 전이를 어떻게 최소화할 수 있는가?

주요 결과

• 10층 필름에서 8층 필름으로 지식을 전이했을 때 상대 오차율이 50.5% 감소했고, 반대로 8층에서 10층으로 전이했을 때도 23.7% 감소했다.
• 매우 다른 물리적 시나리오—다층 필름의 투과와 코어-쉘 나노입자에서의 산산이 흩广大群众—간 전이학습으로도 상대 오차율이 19.7% 감소했다.
• 다중작업 학습은 14층 필름의 스펙트럼 오차를 최대 27.1%까지 감소시켰으며, 테스트된 모든 층 수에서 일관된 향상이 관찰되었다.
• 전이학습 프레임워크는 L2, L1, 드롭아웃 정규화를 적용한 직접 학습보다 성능이 뛰어나, L2 정규화를 사용한 직접 학습의 오차율 3.3% 대비 전이학습의 오차율 6.6%를 기록했다.
• 드롭아웃은 직접 학습과 전이학습 모두에서 성능을 악화시켜, 성능 향상의 원인이 정규화 효과가 아니라 실제 지식 전이 때문임을 시사한다.
• 다양한 물리적 시스템에서 오차를 감소시키는 데 성공한 프레임워크는 기초 물리 법칙을 포착하고 있음을 보여주며, 통계적 정규화에 의존하지 않는다는 것을 입증한다.