[論文レビュー] Independent Vector Analysis for Data Fusion Prior to Molecular Property Prediction with Machine Learning

Zois Boukouvalas, Daniel C. Elton+2 more|arXiv (Cornell University)|Nov 1, 2018

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本稿では、独立ベクトル分析（IVA）を用いたパラメータフリーで計算効率の良いデータ統合フレームワークを提案する。この手法は、フィンガープrintや記述子などの複数の分子記述子手法を統合し、機械学習による分子特性予測の性能を向上させる1つの低次元特徴セットを生成する。従来の特徴量の連結と比較して回帰精度を向上させるとともに分散を低減するが、学習された成分に特定可能な分子モチーフを介して解釈可能性を保つ。

ABSTRACT

Due to its high computational speed and accuracy compared to ab-initio quantum chemistry and forcefield modeling, the prediction of molecular properties using machine learning has received great attention in the fields of materials design and drug discovery. A main ingredient required for machine learning is a training dataset consisting of molecular features\ extemdash for example fingerprint bits, chemical descriptors, etc. that adequately characterize the corresponding molecules. However, choosing features for any application is highly non-trivial. No "universal" method for feature selection exists. In this work, we propose a data fusion framework that uses Independent Vector Analysis to exploit underlying complementary information contained in different molecular featurization methods, bringing us a step closer to automated feature generation. Our approach takes an arbitrary number of individual feature vectors and automatically generates a single, compact (low dimensional) set of molecular features that can be used to enhance the prediction performance of regression models. At the same time our methodology retains the possibility of interpreting the generated features to discover relationships between molecular structures and properties. We demonstrate this on the QM7b dataset for the prediction of several properties such as atomization energy, polarizability, frontier orbital eigenvalues, ionization potential, electron affinity, and excitation energies. In addition, we show how our method helps improve the prediction of experimental binding affinities for a set of human BACE-1 inhibitors. To encourage more widespread use of IVA we have developed the PyIVA Python package, an open source code which is available for download on Github.

研究の動機と目的

• 最適な分子特徴量選択の課題に対処する。なぜなら、普遍的な記述子手法は存在しないからである。
• 複数の記述子手法間で補完的情報を活用するデータ統合フレームワークを開発するが、手動による特徴量設計を必要としない。
• 分子特性予測の回帰性能を向上させるために、コンactな低次元分子表現を生成する。
• 分子構造と特性の間の関係を明らかにすることで、統合された特徴量の解釈可能性を可能にする。
• 深層学習ベースの特徴量学習に対するスケーラブルでパラメータフリーかつ計算的に効率的な代替手法を提供する。

提案手法

• 本手法は、異なる記述子手法（例：フィンガープrint、記述子）から得られる複数の分子特徴量データセットを同時に因子分解するために独立ベクトル分析（IVA）を適用する。
• IVAは、統計的に独立なソースの線形混合としてデータをモデル化し、元の特徴セットを共通の潜在空間に変換する混合行列を推定する。
• 統合された特徴量の次元数は、ユーザーが指定した数P（例：P=10）にまで低減され、コンパクト性を確保するとともに次元の呪いを軽減する。
• 生成モデルは、ソースに多変量ラプラス事前分布を仮定しており、独立成分のロバストな推定を可能にする。
• 本手法はパラメータフリーであり、計算的にも効率的で、膨大なハイパーパramータチューニングや大規模な学習データセットの必要がない。
• 得られた統合特徴量は、分子特性を予測する回帰モデルの学習に使用され、単純な連結（Regular）および個々の特徴セットと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 IVAは、複数の分子記述子手法を効果的に統合し、分子特性予測における機械学習性能を向上させることができるか？
• RQ2 回帰誤差と分散の観点から、IVAの性能は特徴量の単純な連結（Regular）と比べてどうなるか？
• RQ3 IVAが生成する統合特徴量は、分子構造と特性の間の意味のある関係を明らかにするために解釈可能か？
• RQ4 IVAを用いることで、次元が低く抑えられつつも予測精度が維持または向上する表現が得られるか？
• RQ5 本手法は、量子化学データセット（例：QM7b）および実験的データセット（例：BACE-1阻害剤）の両方に対して効果的に適用可能か？

主な発見

• QM7bデータセットでは、IVAで統合された特徴量が個々の記述子手法よりも低い平均絶対誤差（MAE）を達成し、中央値誤差と分散低減の両面で単純連結（Regular）を上回った。
• BACE-1阻害剤データセットでは、統合する記述子手法の数を増やすことでMAEが継続的に低下し、より多くのデータセットが追加されるにつれてIVAは常にRegularアプローチを上回った。
• 追加される記述子手法の数が増えるにつれ、IVAの中央値MAEはRegularアプローチよりも速やかに低下し、補完的情報をより効果的に活用していることを示した。
• IVAが生成する特徴ベクトルの次元数は、常に連結されたRegular特徴量よりも低く抑えられており、本手法のコンパクト性を裏付けた。
• IVAの混合行列は解釈可能なパターンを示し、特定の分子モチーフが各ソース成分に関連していることが判明した。これは、本手法が化学的に意味のある関係を符号化していることを示している。
• 著者らは、IVAを実装したオープンソースのPythonパッケージ「PyIVA」を開発・公開し、本手法の広範な採用および今後の拡張を可能にした。