[論文レビュー] Overcoming data scarcity with transfer learning

Maxwell L. Hutchinson, Erin Antono+4 more|arXiv (Cornell University)|Nov 2, 2017

Machine Learning in Materials Science参考文献 7被引用数 79

ひとこと要約

この論文は、材料情報学のデータが乏しい問題に対処するため、3つの転移学習アーキテクチャ—明示的潜在変数、マルチタスク、差分学習—を比較し、帯域ギャップ/カラーに関するケーススタディでデータセット間の文脈を維持し、NO還元活性化エネルギーはケーススタディには含めない。

ABSTRACT

Despite increasing focus on data publication and discovery in materials science and related fields, the global view of materials data is highly sparse. This sparsity encourages training models on the union of multiple datasets, but simple unions can prove problematic as (ostensibly) equivalent properties may be measured or computed differently depending on the data source. These hidden contextual differences introduce irreducible errors into analyses, fundamentally limiting their accuracy. Transfer learning, where information from one dataset is used to inform a model on another, can be an effective tool for bridging sparse data while preserving the contextual differences in the underlying measurements. Here, we describe and compare three techniques for transfer learning: multi-task, difference, and explicit latent variable architectures. We show that difference architectures are most accurate in the multi-fidelity case of mixed DFT and experimental band gaps, while multi-task most improves classification performance of color with band gaps. For activation energies of steps in NO reduction, the explicit latent variable method is not only the most accurate, but also enjoys cancellation of errors in functions that depend on multiple tasks. These results motivate the publication of high quality materials datasets that encode transferable information, independent of industrial or academic interest in the particular labels, and encourage further development and application of transfer learning methods to materials informatics problems.

研究の動機と目的

• 材料情報学におけるデータ不足と、データセット間の文脈差を保持する必要性を動機づける。
• 低忠実度の大規模データセットを転移学習で活用し、少量・高忠実度データセットの予測を改善する方法を評価する。
• 現実世界の材料問題において、三つのTLアーキテクチャ（明示的潜在変数、マルチタスク、差分学習）を比較する。
• 各TLアプローチの精度向上と解釈性のトレードオフを、ケーススタディを通じて評価する。

提案手法

• 明示的潜在変数、マルチタスク学習、差分学習の三つのTLアーキテクチャを記述・実装する。
• ジャックナイフに基づく不確実性量化を用いた基盤学習器としてランダムフォレストを使用する。
• クロスバリデーションとホールドアウトセットを用いて、単一タスクのベースラインと比較してTL手法を評価する。
• DFTから実験への転移を含む帯域ギャップとカラー予測、複数反応ステップを有するNO還元の活性エネルギーを適用する。

実験結果

リサーチクエスチョン

• RQ1 低忠実度（DFT）から高忠実度（実験） band gaps および関連カラー データへ移行した際、転移学習は予測精度を改善するか。
• RQ2 どのTLアーキテクチャ（明示的潜在変数、マルチタスク、差分）において、マルチフィデリティ band gaps とカラー分類の最良性能を得られるか。
• RQ3 NO還元触媒における活性エネルギー予測と反応速度決定段階の分類に対してTL手法は改善をもたらすか、どのアーキテクチャが最も効果的か。
• RQ4 これらのTLアプローチは、データが乏しい状況での精度・データ効率・解釈性のバランスをどう取るか。

主な発見

• 差分アーキテクチャは、ベースラインおよび他のTL手法と比較して、マルチフィデリティ band gaps において最良の性能を達成する。
• 明示的潜在変数アーキテクチャはしばしば堅牢な改善を提供し、複数のタスクでベースラインを上回ることがある。
• マルチタスク学習は、一部のタスク（例：band gaps を伴うカラー分類）ではベースラインと同等か上回るが、ラベル不均衡のため他のタスクでは劣る場合がある。
• NO還元の活性エネルギーでは、潜在変数アーキテクチャが各ステップで誤差を低減し、 rate-determining-step分類のF1を改善する一方で、マルチタスクはRDSで劣る可能性がある。
• TL手法により、実験ラベルを大幅に減らして同程度の性能を達成できる（例：band gaps で diff アーキテクチャを用いた場合は 4× 少なくても同等）。
• 潜在変数と差分アーキテクチャは、ラベル間の関係を露出させることで解釈性を高める。