[논문 리뷰] Mapping chemical performance on molecular structures using locally interpretable explanations

Leanne S. Whitmore, Anthe George외 1명|arXiv (Cornell University)|2016. 11. 22.

Computational Drug Discovery Methods참고 문헌 7인용 수 10

한 줄 요약

이 논문은 기계 학습 모델의 예측을 2차원 분자 구조에 맵핑하기 위해 국소 해석 가능한 기계 독립적 설명(LIME)을 적용하여 생물학적으로 생산된 연료의 연구 옥탄 수(RON) 예측을 화학자들이 국소적 구조적 특징을 통해 블랙박스 모델 결정을 해석할 수 있도록 한다. 이 방법은 이중 결합이 RON 예측을 증가시키고, 내부 단일 결합은 감소시킨다는 것을 드러내며, LIME 가중치와 RON 분류 확률 간의 스피어만 상관관계는 0.784이다.

ABSTRACT

In this work, we present an application of Locally Interpretable Machine-Agnostic Explanations to 2-D chemical structures. Using this framework we are able to provide a structural interpretation for an existing black-box model for classifying biologically produced fuel compounds with regard to Research Octane Number. This method of "painting" locally interpretable explanations onto 2-D chemical structures replicates the chemical intuition of synthetic chemists, allowing researchers in the field to directly accept, reject, inform and evaluate decisions underlying inscrutably complex quantitative structure-activity relationship models.

연구 동기 및 목표

• 연구 옥탄 수(RON)와 같은 화학적 성질을 예측하는 데 사용되는 블랙박스 기계 학습 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 복잡한 모델 예측과 분자 설계에서 화학적으로 직관적인 구조적 특징 사이의 격차를 메우기 위해.
• 어두운 통계적 출력이 아닌 구조적 추론에 기반해 합성 화학자가 모델 결정을 검증, 개선 또는 기각할 수 있도록 하기 위해.
• LIME를 사용하여 특정 구조 모티프와 연결함으로써 랜덤 포레스트 RON 분류기의 신뢰성을 평가하기 위해.
• 후보 반응 경로 설계를 안내하기 위해 RON 예측에 가장 영향을 주는 구조적 특징을 식별하는 도구를 제공하기 위해.

제안 방법

• 기계 학습 모델의 예측을 설명하기 위해 사전 훈련된 랜덤 포레스트 분류기의 예측에 대해 국소적이고 인스턴스별 설명을 생성하기 위해 LIME를 적용하여 생물학적으로 생산된 화합물에서 고 RON 대비 저 RON을 예측한다.
• 하나의 분자 구조를 부분적으로 마스킹하고 모델의 예측을 재평가하여 특징 중요도를 추정한다.
• 예시로 C-C-C-C-C, C=C 등 분자의 조각을 이진 표현으로 사용하여 LIME 프레임워크 내에서 해석 가능한 특징으로 활용한다.
• LIME의 최적화를 통해 국소적 구조적 가중치를 계산한다: 지역 선형 서rogate 모델의 부정확성을 최소화하면서도 복잡도는 낮게 유지한다.
• 안정성과 중요도 점수의 신뢰성을 향상시키기 위해 100회의 부트스트랩 반복을 통해 LIME 가중치를 집계한다.
• 색상 코드로 표시된 구조적 특징(빨강: 높은 RON, 파랑: 낮은 RON)을 사용하여 2차원 화학 구조도에 결과적인 LIME 가중치를 직접 시각화한다.

실험 결과

연구 질문

• RQ1 LIME는 블랙박스 RON 예측 모델에 대해 의미 있고 화학적으로 해석 가능한 설명을 제공할 수 있는가?
• RQ2 생물학적으로 생산된 화합물에서 RON 분류 예측에 가장 강하게 영향을 주는 구조적 특징는 무엇인가?
• RQ3 LIME로 유도된 국소적 설명이 원래 모델의 예측과 실험적 RON 값과 얼마나 잘 일치하는가?
• RQ4 모델의 오류는 어디서 기인하는가? LIME는 단일 결합 대비 이중 결합에 대한 과도한 의존성과 같은 구조적 오해를 식별하는 데 도움이 될 수 있는가?
• RQ5 LIME 설명은 생물연료 개발에서 화학자들의 신뢰를 높이고 합성 설계 결정을 안내하는 데 기여할 수 있는가?

주요 결과

• LIME는 국소적 특징 중요도를 2차원 분자 구조에 성공적으로 맵핑하여 이중 결합(예: C=C)이 예측된 RON을 증가시키고, 내부 단일 결합(예: C-C-C)은 감소시킨다는 것을 드러냈다.
• LIME 구조적 특징 가중치와 bcmlRON 모델의 고 RON 분류 확률 간의 스피어만 상관관계는 ρ = 0.784 (p < 0.01)로 강한 일치를 보였다.
• LIME 가중치와 실험적 RON 값 간의 상관계수는 ρ = 0.711 (p < 0.01)였으며, 원래 모델의 상관계수(ρ = 0.787)와 유의미하게 다를 바 없었다.
• 오시멘(측정된 RON = 72.9)은 높은 이중 결합의 국소 중요도로 인해 과도하게 예측되었으며, 이는 구조적 오해를 보여준다.
• 유칼립톨(측정된 RON = 99.2)은 내부 단일 결합의 높은 국소 중요도로 인해 과소 예측되었으며, 이는 모델이 단일 결합에 대한 편향을 지닌다는 것을 시사한다.
• 이 방법은 모델의 추론 과정을 분자도에 직접적으로 시각화할 수 있게 하여 화학자가 모델 결정을 화학적 직관으로 평가할 수 있도록 한다.