[논문 리뷰] Syntax-Directed Variational Autoencoder for Structured Data

Hanjun Dai, Yingtao Tian외 3명|arXiv (Cornell University)|2018. 02. 24.

Topic Modeling참고 문헌 22인용 수 201

한 줄 요약

논문은 SD-VAE를 도입하여 구조화된 데이터 생성에서 문법적 제약과 의미 제약을 확률적 게으른 속성을 사용해 강제함으로써 재구성, prior validity, 및 프로그램과 분자의 최적화를 개선한다.

ABSTRACT

Deep generative models have been enjoying success in modeling continuous data. However it remains challenging to capture the representations for discrete structures with formal grammars and semantics, e.g., computer programs and molecular structures. How to generate both syntactically and semantically correct data still remains largely an open problem. Inspired by the theory of compiler where the syntax and semantics check is done via syntax-directed translation (SDT), we propose a novel syntax-directed variational autoencoder (SD-VAE) by introducing stochastic lazy attributes. This approach converts the offline SDT check into on-the-fly generated guidance for constraining the decoder. Comparing to the state-of-the-art methods, our approach enforces constraints on the output space so that the output will be not only syntactically valid, but also semantically reasonable. We evaluate the proposed model with applications in programming language and molecules, including reconstruction and program/molecule optimization. The results demonstrate the effectiveness in incorporating syntactic and semantic constraints in discrete generative models, which is significantly better than current state-of-the-art approaches.

연구 동기 및 목표

• 문법적으로 유효하고 의미적으로 의미 있는 구조화된 데이터를 생성하는 과제를 동기 부여하고 해결한다.
• 구문-지향(속성) 문법을 사용하여 디코더에 의미 제약을 통합한다.
• 오프라인 의미 검사를 생성 중 온라인 가이던스로 전환하기 위해 확률적 게으른 속성을 이용한다.
• 프로그램과 분자에 대한 재구성, prior validity, 최적화 성능의 향상을 SD-VAE로 입증한다.

제안 방법

• 맥락과 확률적 속성에 조건부로 생산 규칙을 샘플링하는 확률적 구문-지향 디코더를 도입한다.
• 합성된 속성을 즉시 생성할 수 있도록 확률적 게으른 속성으로 속성 문법을 확장한다.
• 트리 생성 동안 의미 제약을 전파하기 위해 상속 속성을 사용하고, 의미 일관성을 강화하기 위해 게으른 연결을 활용한다.
• CFG로 파생된 구문 표현을 잠재 공간으로 매핑하는 구조 기반 인코더를 사용한다.
• 변분 오토인코더 목적 ELBO와 구문지향 디코딩을 통해 계산된 가능도 pθ(x|z)로 학습한다.

실험 결과

연구 질문

• RQ1 구조화된 데이터(CFG를 넘어선)의 신경 생성 디코더에 의미 제약을 어떻게 통합할 수 있는가?
• RQ2 확률적 게으른 속성을 통한 온라인 의미 지도가 구문적 및 의미적 유효성을 효율성 손실 없이 향상시킬 수 있는가?
• RQ3 SD-VAE 표현이 CVAE 및 GVAE에 비해 프로그램과 분자에서 재구성, prior validity, 최적화 성능을 더 잘 이끌어내는가?

주요 결과

• SD-VAE는 프로그램에 대해 거의 완벽한 재구성을 달성하고 프로그램과 SMILES 토큰 모두에서 매우 높은 prior validity를 보인다.
• SD-VAE 디코더 하의 prior validity는 평가에서 사실상 완벽에 가깝게 나타나며 베이스라인보다 현저하게 우수하다.
• SD-VAE는 CVAE 및 GVAE보다 더 효과적인 베이슨 최적화를 가능하게 하여 목표 특성이 더 우수한 프로그램과 분자를 찾는다.
• SD-VAE가 학습한 잠재 표현은 베이스라인보다 구별력이 높다( RMSE 감소, 로그 가능도 증가 ).
• 이 방법은 생성된 분자의 다양성을 보존하면서 의미적으로 유효한 구조로 출력 공간을 축소한다.
• 시각화는 prior 방법들에 비해 더 매끄럽고 일관된 잠재 공간 보간을 보여준다.