[논문 리뷰] DEFactor: Differentiable Edge Factorization-based Probabilistic Graph Generation

Rim Assouel, Mohamed M. Ahmed외 3명|arXiv (Cornell University)|2018. 11. 24.

Computational Drug Discovery Methods참고 문헌 1인용 수 56

한 줄 요약

DEFactor는 차별화 가능한, 모서리 인자화 기반 그래프 디코더를 제시하여 속성 지향 최적화를 위한 임의 크기의 분자 그래프를 엔드-투-엔드 학습 및 조건부 생성 가능하게 한다.

ABSTRACT

Generating novel molecules with optimal properties is a crucial step in many industries such as drug discovery. Recently, deep generative models have shown a promising way of performing de-novo molecular design. Although graph generative models are currently available they either have a graph size dependency in their number of parameters, limiting their use to only very small graphs or are formulated as a sequence of discrete actions needed to construct a graph, making the output graph non-differentiable w.r.t the model parameters, therefore preventing them to be used in scenarios such as conditional graph generation. In this work we propose a model for conditional graph generation that is computationally efficient and enables direct optimisation of the graph. We demonstrate favourable performance of our model on prototype-based molecular graph conditional generation tasks.

연구 동기 및 목표

• 미분 가능하고 임의의 그래프 크기로 확장 가능한 분자 그래프 생성 모델의 동기를 부여한다.
• 대상 속성에 대해 이산적이고 미분 불가능한 그래프 구성 단계에 의존하지 않고 분자 그래프의 직접 최적화를 가능하게 한다.
• 조건부 생성에 적합한 autoregressive, edge-factorized 디코더를 갖춘 확률적 오토인코더를 개발한다.

제안 방법

• 입력 분자 그래프를 그래프 컨볼루션 네트워크로 인코딩하여 노드 임베딩과 고정 길이 그래프 잠재 코드를 얻는다.
• LSTM 기반 인코더로 노드 임베딩을 모아 그래프 잠재 표현 z를 형성한다.
• LSTM 디코더를 통해 z에 조건부로 연속 노드 임베딩을 자기회귀적으로 생성한다.
• 관계 추론 방식으로 엣지별 인자 분해를 이용해 인접 행렬과 노드 특징을 재구성하여 그래프를 디코딩하고 가변 그래프 크기를 가능하게 한다.
• 교사 강제(train via teacher forcing) 세 단계로 학습: 그래프 오토인코더 사전 학습, 교사 강제와 함께 임베딩 생성기 학습, 그 다음 완전 자기회귀 학습.
• 목표 속성 평가자인 판별기가 피드백을 통해 생성기를 안내하고 상호 정보 최대화가 포함된 조건부 생성 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 DEFactor는 디코더 매개변수가 고정된 최대 그래프 크기에 의존하지 않으면서 임의의 크기의 현실적인 분자 그래프를 생성할 수 있는가?
• RQ2 자기회귀적, 엣지-인자화 디코딩 방식이 속성 지향적 분자 설계를 위한 효과적인 조건부 생성을 가능하게 하는가?
• RQ3 재구성 및 제약 속성 최적화에서 DEFactor는 기존 모델과 비교해 어떤 성능을 보이는가?
• RQ4 상호 정보 기반 조건부 생성 및 판별기 도입이 원하는 속성을 가진 분자 생성에 미치는 영향은 무엇인가?

주요 결과

• DEFactor는 디코더의 매개변수가 고정된 최대 그래프 크기에 의존하지 않는 엔드-투-엔드 차별화 가능한 그래프 생성을 가능하게 한다.
• 목표 속성으로 분자를 유도하는 조건부 생성은 LogP 관련 작업에서 경쟁력 있는 성능을 보인다.
• 제약된 속성 최적화에서 DEFactor는 벌점된 LogP에서 기존 모델에 비해 상당한 개선을 달성하면서도 원래 질의 분자와의 유사성을 합리적으로 유지한다.
• 재구성 작업은 테스트 데이터셋에서 이전 그래프 재구성 방법에 비해 경쟁력 있거나 우수한 성능을 보인다.
• 모델은 존재 모듈을 통해 자기회귀 생성기의 언롤링을 중단할 시점을 결정하여 다양한 크기의 그래프 생성을 지원한다.