[논문 리뷰] Independent Vector Analysis for Data Fusion Prior to Molecular Property Prediction with Machine Learning

Zois Boukouvalas, Daniel C. Elton외 2명|arXiv (Cornell University)|2018. 11. 01.

Computational Drug Discovery Methods인용 수 6

한 줄 요약

이 논문은 분자 기능화 방법(예: 지문, 서술자 등)을 통합하여 단일의 저차원 특징 집합을 생성하는 파rameter-free이고 계산적으로 효율적인 데이터 융합 프레임워크를 제안한다. 이는 분자 성질 예측을 위한 기계학습 성능을 향상시킨다. 기존의 원시 특징을 연결하는 것과 비교해 회귀 정확도를 높이고 분산을 감소시키며, 학습된 구성 요소에서 식별 가능한 분자 모티프를 통해 해석 가능성을 유지한다.

ABSTRACT

Due to its high computational speed and accuracy compared to ab-initio quantum chemistry and forcefield modeling, the prediction of molecular properties using machine learning has received great attention in the fields of materials design and drug discovery. A main ingredient required for machine learning is a training dataset consisting of molecular features\ extemdash for example fingerprint bits, chemical descriptors, etc. that adequately characterize the corresponding molecules. However, choosing features for any application is highly non-trivial. No "universal" method for feature selection exists. In this work, we propose a data fusion framework that uses Independent Vector Analysis to exploit underlying complementary information contained in different molecular featurization methods, bringing us a step closer to automated feature generation. Our approach takes an arbitrary number of individual feature vectors and automatically generates a single, compact (low dimensional) set of molecular features that can be used to enhance the prediction performance of regression models. At the same time our methodology retains the possibility of interpreting the generated features to discover relationships between molecular structures and properties. We demonstrate this on the QM7b dataset for the prediction of several properties such as atomization energy, polarizability, frontier orbital eigenvalues, ionization potential, electron affinity, and excitation energies. In addition, we show how our method helps improve the prediction of experimental binding affinities for a set of human BACE-1 inhibitors. To encourage more widespread use of IVA we have developed the PyIVA Python package, an open source code which is available for download on Github.

연구 동기 및 목표

• 모든 분자 기능화 방법이 존재하지 않기 때문에 기계학습을 위한 최적의 분자 기능을 선택하는 데 도전하는 것.
• 수동 기능 엔지니어링이 필요 없이 여러 기능화 기법 간의 상호보완적 정보를 활용하는 데이터 융합 프레임워크를 개발하는 것.
• 분자 성질 예측을 위한 회귀 성능을 향상시키는 압축된, 저차원의 분자 표현을 생성하는 것.
• 융합된 기능의 해석 가능성을 보장하기 위해 분자 구조와 성질 간의 기초적인 관계를 드러내는 것.
• 딥 러닝 기반 기능 학습에 대한 확장 가능하고 파rameter-free이며 계산적으로 효율적인 대안을 제공하는 것.

제안 방법

• 이 방법은 서로 다른 기능화 기법(예: 지문, 서술자 등)에서 유도된 여러 분자 기능 데이터셋을 동시에 요약하는 데 독립 벡터 분석(IVA)을 적용한다.
• IVA는 데이터를 통계적으로 독립적인 소스의 선형 혼합으로 모델링하며, 원래의 기능 집합을 공유되는 잠재 공간으로 변환하는 혼합 행렬을 추정한다.
• 융합된 기능의 차원은 사용자가 정의한 수 P(예: P=10)로 감소하여 압축성과 차원의 저주 문제 완화를 보장한다.
• 생성 모델은 소스에 다변량 라플라스 사전 확률을 가정하여 독립된 구성 요소의 안정적인 추정을 가능하게 한다.
• 이 방법은 파rameter-free이며 계산적으로 효율적이며, 광범위한 하이퍼파ram터 튜닝이나 대규모 학습 데이터 세트가 필요로 하지 않는다.
• 최종적으로 융합된 기능은 분자 성질 예측을 위한 회귀 모델 학습에 사용되며, 성능은 단순 연결(Regular) 및 개별 기능 집합과 비교된다.

실험 결과

연구 질문

• RQ1 IVA는 분자 성질 예측에서 기계학습 성능을 햖당하기 위해 여러 분자 기능화 기법을 효과적으로 융합할 수 있는가?
• RQ2 회귀 오차와 분산 측면에서 IVA의 성능은 단순 기능 연결과 비교해 어떻게 다른가?
• RQ3 IVA가 생성한 융합된 기능은 분자 구조와 성질 간의 의미 있는 관계를 드러내는 해석 가능한가?
• RQ4 IVA를 사용하면 예측 정확도를 유지하거나 향상시키면서도 저차원 표현을 얻을 수 있는가?
• RQ5 이 방법은 양자 화학 데이터셋(예: QM7b)과 실험 데이터셋(예: BACE-1 억제제) 모두에 효과적으로 적용될 수 있는가?

주요 결과

• QM7b 데이터셋에서 IVA 융합 기능은 개별 기능화 기법보다 낮은 평균 절대 오차(MAE)를 기록했으며, 중앙 오차와 분산 감소 측면에서 단순 연결(Regular)보다 뛰어난 성능을 보였다.
• BACE-1 억제제 데이터셋에서는 융합된 기능화 기법의 수가 증가할수록 MAE가 지속적으로 감소했으며, IVA는 더 많은 데이터셋이 포함될수록 항상 Regular 접근 방식을 앞섰다.
• 더 많은 기능화 기법을 추가함에 따라 IVA의 중앙 MAE 감소 속도가 Regular 접근 방식보다 더 빠르게 나타나, 상호보완적 정보를 더 효과적으로 활용함을 보여주었다.
• IVA가 생성한 기능 벡터의 차원은 항상 단순 연결된 Regular 기능보다 낮게 유지되었으며, 이는 방법의 압축성 확인을 위한 증거였다.
• IVA의 혼합 행렬은 해석 가능한 패턴을 드러내었으며, 특정 분자 모티프가 각 소스 구성 요소와 관련이 있었고, 이는 방법이 화학적으로 의미 있는 관계를 인코딩하고 있음을 시사했다.
• 저자들은 IVA를 위한 오픈소스 파이썬 패키지인 PyIVA를 개발하고 공개하여, 향후 방법의 광범위한 적용과 확장 가능성을 높였다.