[논문 리뷰] Counterfactual Explanation with Multi-Agent Reinforcement Learning for Drug Target Prediction

Tri Minh Nguyen, Thomas P. Quinn외 2명|arXiv (Cornell University)|2021. 03. 24.

Computational Drug Discovery Methods인용 수 4

한 줄 요약

이 논문은 다수의 약물-타겟 결합 친화도 모델에 대해 복수의 약물 및 단백질 수정을 공동 최적화함으로써 반사적 설명을 생성하는 다중 에이전트 강화 학습 프레임워크인 MACDA를 제안한다. 이는 더 단순하고 타당한 반사적 설명을 제공하며, 구조적 상호작용의 해석 가능성도 향상시킨다. 이는 Davis 데이터셋과 ABL1 및 니로티닙에 대한 사례 연구를 통해 검증되었다.

ABSTRACT

Motivation: Many high-performance DTA models have been proposed, but they are mostly black-box and thus lack human interpretability. Explainable AI (XAI) can make DTA models more trustworthy, and can also enable scientists to distill biological knowledge from the models. Counterfactual explanation is one popular approach to explaining the behaviour of a deep neural network, which works by systematically answering the question "How would the model output change if the inputs were changed in this way?". Most counterfactual explanation methods only operate on single input data. It remains an open problem how to extend counterfactual-based XAI methods to DTA models, which have two inputs, one for drug and one for target, that also happen to be discrete in nature. Methods: We propose a multi-agent reinforcement learning framework, Multi-Agent Counterfactual Drug target binding Affinity (MACDA), to generate counterfactual explanations for the drug-protein complex. Our proposed framework provides human-interpretable counterfactual instances while optimizing both the input drug and target for counterfactual generation at the same time. Results: We benchmark the proposed MACDA framework using the Davis dataset and find that our framework produces more parsimonious explanations with no loss in explanation validity, as measured by encoding similarity and QED. We then present a case study involving ABL1 and Nilotinib to demonstrate how MACDA can explain the behaviour of a DTA model in the underlying substructure interaction between inputs in its prediction, revealing mechanisms that align with prior domain knowledge.

연구 동기 및 목표

• 고성능의 블랙박스 약물-타겟 친화도(DTA) 모델에서의 설명 부족 문제를 해결하기 위해.
• 약물 분자와 단백질 서열이라는 두 개의 이산 입력을 갖는 DTA 모델에 반사적 설명 방법을 확장하기 위해.
• 더 정확하고 인간이 이해할 수 있는 반사적 사례를 위해 약물 및 단백질 수정을 공동 최적화할 수 있도록 하기 위해.
• 결합 친화도 예측에 영향을 주는 약물 기능기 및 단백질 잔기 간의 구조적 수준의 상호작용을 분리하고 드러내기 위해.
• 약물-단백질 복합체에서 생물학적으로 타당한 변화를 반영하는 안정적이고 확장 가능한 반사적 생성 프레임워크를 제공하기 위해.

제안 방법

• MACDA는 두 개의 에이전트(약물 분자용 및 단백질 서열용)를 갖는 다중 에이전트 강화 학습(MARL) 프레임워크를 사용한다.
• 각 에이전트는 원자, 결합, 잔기 또는 모티프의 추가 또는 제거와 같은 동작을 수행하여 반사적 사례를 생성한다.
• 공동 최적화된 다목적 보상 함수를 통해 결합 친화도 변화를 최대화하면서 입력 수정을 최소화한다.
• 이 프레임워크는 이산 데이터에 적합한 이산 동작 공간을 사용하며, 이산 데이터에 적합하지 않은 기울기 기반 방법을 회피한다.
• 반사적 사례 생성은 모델의 예측 변화에 따라 유도되며, 변화가 출력의 상당한 변동을 유도하도록 보장한다.
• 이 방법은 약물 및 단백질 입력을 공동 최적화할 수 있게 하여, 단일 입력에 의한 최적화가 아닌 열악한 결과를 피한다.

실험 결과

연구 질문

• RQ1 두 개의 이산 입력을 갖는 약물-타겟 결합 친화도 모델에 대해 반사적 설명을 효과적으로 생성할 수 있는 방법은 무엇인가?
• RQ2 다중 에이전트 강화 학습은 단일 입력 또는 기울기 기반 방법보다 더 단순하고 타당한 반사적 설명을 생성할 수 있는가?
• RQ3 생성된 반사적 설명이 알려진 약물-단백질 상호작용의 생물학적 메커니즘을 어느 정도 반영하는가?
• RQ4 약물 및 단백질의 공동 수정이 반사적 설명의 안정성과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 DTA 모델 예측에 기여하는 핵심 구조적 상호작용을 분리하고 강조할 수 있는가?

주요 결과

• MACDA는 인코딩 유사도와 QED 점수를 기준으로 설명의 타당성을 훼손하지 않으면서도 더 단순한(수정 수가 적은) 반사적 설명을 생성한다.
• 프레임워크는 니로티닙 및 아스시미닙과 같은 약물의 결합 부위로 알려진 ABL1의 LYS.247, GLU.286, VAL.448 등의 핵심 잔기 위치를 성공적으로 식별했다.
• ABL1-니로티닙 사례 연구에서 MACDA는 GLU.286와 상호작용하는 (트리플루오로메틸)벤젠 기능기가 결정 구조상 수소 결합을 형성함을 보여주며 중요한 역할을 한다고 강조했다.
• 반사적 사례는 니로티닙의 피리미딘 기능기와 MET.318 간의 상호작용도 모델의 예측에 크게 기여한다는 것을 드러냈다.
• 이 방법은 안정적인 학습 과정과 약물 및 단백질 수정의 효과적인 공동 최적화를 보여주었으며, 단일 입력 반사적 생성에서 관찰되는 불안정성은 피했다.
• 프레임워크는 고차원의 약물 구조적 부분과 단백질 잔기 간의 상호작용을 성공적으로 분리하고 설명하여 생물학적 타당성과 도메인 지식 검증을 지원했다.