[論文レビュー] Migrating Knowledge between Physical Scenarios based on Artificial Neural Networks

Yurui Qu, Li Jing+3 more|arXiv (Cornell University)|Aug 27, 2018

Neural Networks and Reservoir Computing参考文献 23被引用数 5

ひとこと要約

本論文は、小規模なデータセットを用いた物理ベースの問題における予測精度を向上させるために、人工ニューラルネットワークを用いたトランスファーラーニングフレームワークを提案する。多層膜やコアシェルナノ粒子のような類似または相違する物理的状況間で知識を転送することにより、相対誤差を最大50.5%まで低減し、トランスファーラーニングが単なる正則化効果ではなく、物理的法則の本質を捉えていることを示している。

ABSTRACT

Deep learning is known to be data-hungry, which hinders its application in many areas of science when datasets are small. Here, we propose to use transfer learning methods to migrate knowledge between different physical scenarios and significantly improve the prediction accuracy of artificial neural networks trained on a small dataset. This method can help reduce the demand for expensive data by making use of additional inexpensive data. First, we demonstrate that in predicting the transmission from multilayer photonic film, the relative error rate is reduced by 46.8% (26.5%) when the source data comes from 10-layer (8-layer) films and the target data comes from 8-layer (10-layer) films. Second, we show that the relative error rate is decreased by 22% when knowledge is transferred between two very different physical scenarios: transmission from multilayer films and scattering from multilayer nanoparticles. Finally, we propose a multi-task learning method to improve the performance of different physical scenarios simultaneously in which each task only has a small dataset.

研究の動機と目的

• データが少なく、収集に費用がかかる物理現象におけるディープラーニングの性能が低いという課題に対処すること。
• 一つの物理的状況で学習した知識が、非常に異なる別の物理的状況においても、予測性能を向上させるために効果的に転送可能かどうかを調査すること。
• トランスファーラーニングが、L2、L1、ドロップアウトなどの標準的な正則化手法よりも性能を向上させることを示すこと。
• 複数の関連する物理的問題を同時に学習するマルチタスク学習アプローチを開発し、それぞれの問題に限られたデータがある状況で性能を向上させること。
• 性能の向上が正則化効果ではなく、共有される物理的原則を学習していることから生じることを検証すること。

提案手法

• 豊富で安価なデータが得られるソース物理的状況（例：10層多層膜の透過）で、深層ニューラルネットワークアーキテクチャを訓練する。
• 事前学習済みのソースネットワークからの知識を、別の関連する物理的状況（例：8層膜やナノ粒子からの散乱）のターゲットネットワークに転送する。
• 類似した状況（例：膜の層数が異なる場合）および相違する状況（例：透過と散乱）の両方において、共通の特徴表現を用いてトランスファーラーニングを適用する。
• 複数の関連する物理的タスクを同時に学習するマルチタスク学習フレームワークを実装し、低層のネットワーク層を共有することで一般化性能を向上させる。
• グリッドサーチを用いて、ネガティブトランスファーを避けるために、最適な一般および特定の層を同定する。
• ベースラインモデルに対して正則化手法（L2、L1、ドロップアウト）を適用し、性能向上が正則化によるものか、真正の知識転送によるものかを検証する。

実験結果

リサーチクエスチョン

• RQ1 訓練データが限られている物理的問題において、トランスファーラーニングが予測誤差を顕著に低減できるか？
• RQ2 多層膜の透過とコアシェルナノ粒子の散乱といった物理的に異なる系間で知識転送がなされても、性能向上が得られるか？
• RQ3 マルチタスク学習により、複数の小規模データセットを有する物理的問題を同時に予測精度向上させられるか？
• RQ4 トランスファーラーニングによる性能向上が、共有される物理的原則を学習しているためか、単に正則化効果によるものか？
• RQ5 関係のない物理的状況間で知識を転送する際、ネガティブトランスファーを最小限に抑えるにはどうすればよいか？

主な発見

• 10層膜から8層膜への知識転送では相対誤差が50.5%低減し、逆方向（8層→10層）では23.7%低減した。
• 非常に異なる物理的状況（多層膜の透過とコアシェルナノ粒子の散乱）間でも、トランスファーラーニングにより相対誤差が19.7%低減した。
• マルチタスク学習により、14層膜のスペクトル誤差が最大27.1%低減し、全テスト層数において一貫した改善が得られた。
• トランスファーラーニングフレームワークは、L2、L1、ドロップアウト正則化を用いた直接学習を上回り、L2正則化では3.3%の誤差率、直接学習では6.6%の誤差率を記録した。
• ドロップアウトは直接学習およびトランスファーラーニングの両方で性能を悪化させたため、性能向上は正則化効果ではなく、真の知識転送によるものであることが示された。
• 多様な物理的システムにおいて誤差低減に成功したことで、このフレームワークが物理的法則の本質を捉えていることが示され、単なる統計的正則化に依存しているわけではない。