[論文レビュー] Assessing the Frontier: Active Learning, Model Accuracy, and Multi-objective Materials Discovery and Optimization

Zachary del Rosario, Matthias Rupp+3 more|arXiv (Cornell University)|Nov 6, 2019

Machine Learning in Materials Science参考文献 18被引用数 5

ひとこと要約

本稿では、多目的材料発見におけるアクティブラーニングの文脈で、グローバルモデル誤差よりも予測能の高い指標として「パレートシェル誤差」を導入する。実証的に、パレートフロンティアに忠実な適合度の高い獲得関数は、非優位な候補の長期的発見を向上させる一方で、適合度が低い関数は初期段階の探索を加速できることを示し、材料科学におけるアクティブラーニングのための設計指針を提示する。

ABSTRACT

Discovering novel materials can be greatly accelerated by iterative machine learning-informed proposal of candidates---active learning. However, standard \emph{global-scope error} metrics for model quality are not predictive of discovery performance, and can be misleading. We introduce the notion of \emph{Pareto shell-scope error} to help judge the suitability of a model for proposing material candidates. Further, through synthetic cases and a thermoelectric dataset, we probe the relation between acquisition function fidelity and active learning performance. Results suggest novel diagnostic tools, as well as new insights for acquisition function design.

研究の動機と目的

• アクティブラーニングを用いた材料発見において、標準的なグローバルモデル精度指標と実際の性能との間の乖離を是正すること。
• 具体的には、アクティブラーニングの成功をより的確に予測できる診断ツール、特に非優位フロンティア周辺に注目する「パレートシェル誤差」を新たに開発すること。
• 獲得関数がパレートフロンティアをどれだけ忠実に表現するか、その適合度が多目的設定におけるアクティブラーニングのパフォーマンスに与える影響を調査すること。
• 発見の目的や探索段階に応じて、獲得関数およびモデル評価指標の選定を支援する指針を提示すること。
• 合成および実際の熱電材料データセットにおいて、次元的に整合性のある獲得関数（PJE, HPI, PND）の性能を比較すること。

提案手法

• 非優位フロンティアの周囲にバンドを設定した、パレートフロンティア近傍に注目するスコープ誤差指標「パレートシェル誤差」を導入する。
• データベース分野のリカーシブ・ノンドミナント（ストラタ）手法を用い、多目的空間における最適性の階層的レイヤーを定義する。
• 確率的共同超過（PJE）、ハイパープランの改善確率（HPI）、非優位確率（PND）の3つの獲得関数を採用し、搾取と探索のバランスを最適化する。
• 合成データセットおよび実際の熱電材料データセットに対して、これらの獲得関数を用いたアクティブラーニングサイクルを実施し、モデルを段階的に改善するとともに、候補選択の評価を実施する。
• 平均ストラタ番号や候補選択のパレートフロンティアに沿った分布といった指標を用いて、獲得関数のパフォーマンスを比較する。
• 繰り返しシミュレーションを実施し、モデル適合度、獲得関数の挙動、発見効率との関係を分析することで、結果の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 グローバルモデル誤差は、新規材料の発見におけるアクティブラーニングの成功を信頼できるように予測できるか？
• RQ2 パレートシェル誤差は、グローバル誤差に比べて、効果的な候補発見を示す信号として優れているか？
• RQ3 獲得関数がパレートフロンティアをどれだけ忠実に表現するか（適合度）が、アクティブラーニングのパフォーマンスに及ぼす影響はどの程度か？
• RQ4 異なる獲得関数は、パレートフロンティアに沿ってどのように候補を選択するか？その分布パターンが、探索と搾取のバランスに与える影響は何か？
• RQ5 アクティブラーニングの初期段階と後期段階における性能に基づいて、獲得関数の設計を指針づけられるか？

主な発見

• グローバルモデル誤差は、材料発見におけるアクティブラーニングの成功を予測するのに不適切である。低誤差でも最適候補が少ない事例が確認された。
• 非優位フロンティア周辺の誤差に注目するパレートシェル誤差は、グローバル誤差に比べて、候補発見のパフォーマンスをより的確に示す信号を提供する。
• パレートフロンティアを最も高い適合度でモデル化するMPND獲得関数は、非優位候補の長期的発見において最高のパフォーマンスを示した。
• パレートフロンティアへの適合度が低いMHPI関数は、初期段階においてフロンティアに近い候補を多く発見したが、これは初期探索と長期的精度の間のトレードオフを示している。
• 獲得関数は特徴的な選択パターンを示す：MPNDはフロンティアに沿って均等に選択を分散させるが、MHPIは「ホットスポット」に集中する。
• MPND戦略は平均ストラタ番号を最小化する点で他を上回り、非優位で高品質な材料を識別する能力に優れている。