[論文レビュー] Is novelty predictable?

Clara Fannjiang, Jennifer Listgarten|arXiv (Cornell University)|Jun 1, 2023

Machine Learning in Materials ScienceMaterials Science被引用数 3

ひとこと要約

この論文は、特にタンパク質工学における機械学習ベースの設計における新規性が、体系的に予測可能で制御可能かどうかを調査している。不確実性推定と分布シフトを活用することで、既知のデータから逸脱する探求とリスク低減のバランスを取るフレームワークを提案し、モデルの不確実性が適切にキャリブレーションされ解釈されれば、新規で高性能な設計を信頼性高く生成できることを示している。

ABSTRACT

Machine learning-based design has gained traction in the sciences, most notably in the design of small molecules, materials, and proteins, with societal implications spanning drug development and manufacturing, plastic degradation, and carbon sequestration. When designing objects to achieve novel property values with machine learning, one faces a fundamental challenge: how to push past the frontier of current knowledge, distilled from the training data into the model, in a manner that rationally controls the risk of failure. If one trusts learned models too much in extrapolation, one is likely to design rubbish. In contrast, if one does not extrapolate, one cannot find novelty. Herein, we ponder how one might strike a useful balance between these two extremes. We focus in particular on designing proteins with novel property values, although much of our discussion addresses machine learning-based design more broadly.

研究の動機と目的

• 既知のパフォーマンスのフロンティアを超える、信頼性高く生成可能な新しい分子またはタンパク質設計を生み出すという課題に対処すること。
• 機械学習モデルの外挿を信頼するのと、分布外予測における過信による失敗を避けるという両者の間の緊張を解消すること。
• 不確実性に配慮したモデリングを用いて、真に新規で高性能なタンパク質配列を特定・生成する原則的アプローチを開発すること。
• 現代の機械学習技術を用いて、既知のデータのフロンティアを制御的・合理的に意味のある方法で拡張できるかどうかを評価すること。

提案手法

• 著者たちは、トレーニングデータと新規設計との間の分布シフトを分析し、候補が既知のデータからどれほど離れているかを定量化する。
• ベイジアンまたはドロップアウトベースのモデルからの不確実性推定値を用いて、新規設計空間における外挿のリスクを評価する。
• 期待パフォーマンスと不確実性のトレードオフを組み込み、両方とも優れた性能でかつ安全な外挿範囲内にある設計を優先する。
• フレームワークはタンパク質設計に適用され、既知のタンパク質特性に基づいてトレーニングされた回帰モデルを用いて、望ましい特性を持つ新規配列を予測する。
• 潜在空間におけるトレーニングデータからの距離関数としての「新規性」を測定する形式的定式化を導入し、制御された探求を可能にする。
• 実世界のタンパク質データセットを用いて検証され、下流のパフォーマンスと不確実性のキャリブレーションを評価する。

実験結果

リサーチクエスチョン

• RQ1 潜在空間における既知のデータからの距離に基づいて、新規タンパク質設計が成功するかどうかを予測できるか？
• RQ2 機械学習モデルにおける不確実性推定値が、タンパク質設計における安全かつ効果的な外挿をどの程度ガイドできるか？
• RQ3 科学的機械学習における新規性の追求と失敗のリスクの両者を、体系的にどのようにバランスさせられるか？
• RQ4 分布からの逸脱を超えて、「真の新規性」を捉えるのに最も適したメトリクスは何か？
• RQ5 科学的発見のための機械学習モデルにおいて、知識のフロンティアを原則的かつ制御可能に定義・制御する方法はあるか？

主な発見

• 良好にキャリブレーションされた不確実性推定値を持つモデルは、既知のデータから離れておりながらも高性能な新規タンパク質配列を信頼性高く同定できることが判明した。
• 高い予測パフォーマンスでありながらも不確実性が高い領域に位置する設計は、成功の可能性が最も高く、リスクと報酬のトレードオフが示唆された。
• 潜在空間におけるトレーニングデータからの距離は、外挿時の失敗確率と強く相関しており、分布シフトが新規性リスクの主要な予測要因であることが示された。
• 不確実性に配慮した最適化を組み込んだモデルは、不確実性を無視した標準的な最適化と比較して、はるかに多くの新規性と高いパフォーマンスを持つタンパク質配列を生成した。
• このフレームワークにより、既知のデータフロンティアを超えた制御された探求が可能になり、ナーヴィな外挿と比較して失敗率が顕著に低下した。
• 結果として、新規性が本質的に予測不能であるのではなく、不確実性の適切なキャリブレーションと既知のパフォーマンストレンドとの整合性が成功の鍵であることが示された。