[논문 리뷰] Grammar Variational Autoencoder

Matt J. Kusner, Brooks Paige외 1명|PolyPublie (École Polytechnique de Montréal)|2017. 03. 06.

Topic Modeling참고 문헌 36인용 수 113

한 줄 요약

문법 변분 자동인코더는 이산 데이터를 문맥자유 문법의 파스 트리로 직접 인코딩하고 디코딩하여 출력이 유효하고 산술 표현식과 분자의 최적화를 향상시키는 더 매끄러운 잠재 공간을 생성합니다.

ABSTRACT

Deep generative models have been wildly successful at learning coherent latent representations for continuous data such as video and audio. However, generative modeling of discrete data such as arithmetic expressions and molecular structures still poses significant challenges. Crucially, state-of-the-art methods often produce outputs that are not valid. We make the key observation that frequently, discrete data can be represented as a parse tree from a context-free grammar. We propose a variational autoencoder which encodes and decodes directly to and from these parse trees, ensuring the generated outputs are always valid. Surprisingly, we show that not only does our model more often generate valid outputs, it also learns a more coherent latent space in which nearby points decode to similar discrete outputs. We demonstrate the effectiveness of our learned models by showing their improved performance in Bayesian optimization for symbolic regression and molecular synthesis.

연구 동기 및 목표

• 유효성이 도전인 이산 데이터의 강건한 생성 모델링을 동기화합니다.
• 생성 시퀀스의 합법적 구문 유효성을 보장하기 위해 맥락 자유 문법을 활용합니다.
• 이산 출력에 대해 문법적 구조를 존중하는 연속 잠재 공간을 학습합니다.
• 기호적 회귀 및 분자 설계와 같은 최적화 작업에서의 이점을 입증합니다.

제안 방법

• 이산 출력을 CFG의 파스 트리로 표현하고 문법 생산 규칙을 통해 인코딩/디코딩합니다.
• 인코드: 입력을 문법 규칙의 시퀀스로 구문 분석한 뒤 신경 인코더로 잠재 벡터 z에 매핑합니다.
• 디코드: z에서 CFG 유효성을 스택을 통해 강제하는 마스킹 메커니즘이 있는 RNN을 사용하여 문법 규칙의 시퀀스를 생성합니다.
• 각 단계에서 문법적으로 유효한 파생만 샘플링하도록 마스킹된 소프트맥스(논문의 식 2)를 사용합니다.
• 가우시안 인코더 q(z|X)와 사전 p(z)를 사용하여 잠재 z에 대한 변분 목표(ELBO)로 학습합니다.
• 디코딩을 표준 CFG 구문 분석 및 푸시다운 자동턱 개념과 연계된 푸시다운 구문 분석 프로세스로 설명합니다.

실험 결과

연구 질문

• RQ1 CFG 파싱 트리로의 인코딩이 텍스트 기반 디코더에 비해 생성된 이산 구조의 유효성 비율을 높일 수 있을까요?
• RQ2 GVAE가 이산 출력 간의 의미적 유사성을 보존하면서 더 매끄럽고 의미 있는 잠재 공간을 제공합니까?
• RQ3 GVAE 잠재 공간에서의 최적화(예: 베이지안 최적화)가 기호적 회귀 및 분자 설계에 대해 문자 기반 VAE를 능가합니까?
• RQ4 산술 표현 및 분자 생성에서 유효성, 예측 성능, 탐색 효율성에 대한 질적·양적 영향은 무엇입니까?

주요 결과

• GVAE는 문자 기반 VAE보다 더 높은 비율의 유효한 이산 출력을 생성합니다.
• GVAE는 인접한 잠재 점들이 비슷한 출력으로 디코드되는 더 매끄러운 잠재 표현을 학습합니다.
• GVAE를 이용한 잠재 공간 최적화는 CVAE와 비교하여 기호적 회귀 결과와 분자 설계 성능을 향상시킵니다.
• GVAE 기반 잠재 표현은 다운스트림 특성 추정의 예측 성능을 더 높게 제공합니다(예: 희소 GP를 통해).
• 산술 표현 문제에서 GVAE는 데이터를 적합시키는 유효하고 정확한 표현을 더 신뢰성 있게 발견합니다.