[논문 리뷰] Learning a Generative Model for Validity in Complex Discrete Structures

David M. Janz, Jos van der Westhuizen외 3명|arXiv (Cornell University)|2017. 12. 05.

Machine Learning in Materials Science인용 수 6

한 줄 요약

이 논문은 디지털 구조, 예를 들어 유효한 파이썬 표현식이나 SMILES 문자열과 같은 부분 시퀀스가 유효한 완전한 구조로 이어질 수 있는지 예측할 수 있도록 학습하는 딥 리커런트 검증 모델을 제안한다. 강화학습 기반 훈련과 데이터 증강을 통해, 변분 오토에인코더에서의 시퀀스 생성 성능을 향상시켜 SMILES 기반 VAE에서 유효한 분자의 디코딩 비율을 0.5%에서 22.3%로 높였다.

ABSTRACT

Deep generative models have been successfully used to learn representations for high-dimensional discrete spaces by representing discrete objects as sequences and employing powerful sequence-based deep models. Unfortunately, these sequence-based models often produce invalid sequences: sequences which do not represent any underlying discrete structure; invalid sequences hinder the utility of such models. As a step towards solving this problem, we propose to learn a deep recurrent validator model, which can estimate whether a partial sequence can function as the beginning of a full, valid sequence. This validator provides insight as to how individual sequence elements influence the validity of the overall sequence, and can be used to constrain sequence based models to generate valid sequences -- and thus faithfully model discrete objects. Our approach is inspired by reinforcement learning, where an oracle which can evaluate validity of complete sequences provides a sparse reward signal. We demonstrate its effectiveness as a generative model of Python 3 source code for mathematical expressions, and in improving the ability of a variational autoencoder trained on SMILES strings to decode valid molecular structures.

연구 동기 및 목표

• 분자의 코드와 같은 이산 구조를 위한 딥 생성 모델에서 발생하는 유효하지 않은 시퀀스 생성 문제를 해결하기 위해.
• 부분 시퀀스의 유효성을 예측할 수 있는 생성 모델을 개발하여, 더 나은 제약 인식 생성을 가능하게 하기 위해.
• 수작업으로 작성된 문법을 줄이고, 데이터에서 직접 유효성 규칙을 학습하기 위해.
• 후행 필터링을 통해 변분 오토에인코더의 잠재 공간의 유용성을 높이기 위해.
• 라벨이 부족하거나 전혀 없는 상황에서도 활성 학습과 변형 기반 데이터 증강을 통해 효과적인 훈련을 가능하게 하기 위해.

제안 방법

• 부분 시퀀스 $x_{1:t}$가 유효한 전체 시퀀스로 확장될 수 있는지 예측하는 유효성 함수 $\tilde{v}(x_{1:t})$ 를 근사하기 위해 순환 신경망을 훈련한다.
• 모델이 부분 시퀀스가 유효한 시퀀스로 확장될 수 있는 확률을 예측하도록 강화학습 기반 목적함수를 사용한다.
• 기존에 알려진 유효한 시퀀스(예: SMILES 문자열)에 최소한의 변형을 가해 유의미한 부정 예제를 생성한다.
• 낮은 데이터 환경에서는 상호정보 기반 활성 학습을 사용해 불확실한 시퀀스를 선별하여 레이블링함으로써 샘플 효율성을 높인다.
• 디코딩 중에 사후 마스크로 검증 모델을 통합한다: 모델이 잠재적으로 유효하다고 판단하는 문자만 허용한다.
• 기존의 문자 기반 VAE에 검증 모델을 통합하기 위해, 검증 모델의 부분 시퀀스 유효성에 대한 신뢰도에 기반해 디코더 로짓을 마스킹한다.

실험 결과

연구 질문

• RQ1 학습된 검증 모델이 부분 시퀀스가 유효한 이산 구조로 확장될 수 있는지 효과적으로 예측할 수 있는가?
• RQ2 수작업으로 작성된 문법이나 대규모 레이블 데이터셋에 의존하지 않고 유효성 제약을 어떻게 학습할 수 있는가?
• RQ3 활성 학습과 데이터 증강을 통해 최소한의 감독으로도 시퀀스 유효성 모델의 훈련을 얼마나 향상시킬 수 있는가?
• RQ4 학습된 검증 모델을 통합함으로써, VAE와 같은 후행 생성 모델에서 생성된 시퀀스의 유효성은 얼마나 향상되는가?
• RQ5 재훈련 없이도 기존 모델에 사후적으로 검증 모델을 적용할 수 있으며, 이로 인해 디코딩 품질이 크게 향상되는가?

주요 결과

• 제안된 검증 모델은 VAE의 잠재 공간에서 생성된 분자의 유효 비율을 기준선 CVAE의 0.5%에서 22.3%로 높였다.
• 변형된 SMILES 문자열에 대해 거의 완벽한 유효성 예측 성능를 달성하여, 미세한 구조적 변화에 대한 강력한 일반화 능력을 입증했다.
• 활성 학습과 결합했을 때, 레이블 데이터가 제한된 상황에서도 파이썬 3 수학식에서 뛰어난 성능을 보였다.
• Grammar VAE(7.2%)보다는 10배 이상 높은 유효성 샘플 비율을 확보했으며, 기존 CVAE(0.5%)보다도 뚜렷이 뛰어났다.
• 기존 VAE에 검증 모델를 사후 통합함으로써 재훈련이 필요 없었고, 재구성 정확도는 유지하면서도 디코딩 유효성은 극적으로 향상시켰다.
• 이 방법은 다양한 길이의 시퀀스에 대해 강건하며, 기반 오토에인코더 아키텍처에 대한 수정이 필요하지 않다.