[논문 리뷰] Improving black-box optimization in VAE latent space using decoder uncertainty

Pascal Notin, José Miguel Hernández-Lobato외 1명|arXiv (Cornell University)|2021. 06. 30.

Advanced Neural Network Applications참고 문헌 26인용 수 24

한 줄 요약

본 논문은 VAE 잠재 공간에서 디코더 불확실성 가이드형 블랙박스 최적화를 제시하고, 중요 샘플링 MI 추정기를 사용하여 숫자, 산술 표현, 분자 설계 전반에서 유효성 및 목적 함수를 개선한다.

ABSTRACT

Optimization in the latent space of variational autoencoders is a promising approach to generate high-dimensional discrete objects that maximize an expensive black-box property (e.g., drug-likeness in molecular generation, function approximation with arithmetic expressions). However, existing methods lack robustness as they may decide to explore areas of the latent space for which no data was available during training and where the decoder can be unreliable, leading to the generation of unrealistic or invalid objects. We propose to leverage the epistemic uncertainty of the decoder to guide the optimization process. This is not trivial though, as a naive estimation of uncertainty in the high-dimensional and structured settings we consider would result in high estimator variance. To solve this problem, we introduce an importance sampling-based estimator that provides more robust estimates of epistemic uncertainty. Our uncertainty-guided optimization approach does not require modifications of the model architecture nor the training process. It produces samples with a better trade-off between black-box objective and validity of the generated samples, sometimes improving both simultaneously. We illustrate these advantages across several experimental settings in digit generation, arithmetic expression approximation and molecule generation for drug design.

연구 동기 및 목표

• 모델 아키텍처나 학습을 변경하지 않고 VAE를 통해 고차원 이산 공간에서의 강건한 블랙박스 최적화를 고무한다.
• 디코더의 에피스테믹 불확실성과 그것이 디코딩된 샘플의 유효성에 미치는 영향을 평가한다.
• 고차원 구조화된 데이터에서 중요 샘플링을 이용한 디코더 불확실성에 대한 강건한 추정기를 개발한다.
• 다중 데이터 모달리티(숫자, 산술식, 분자)에서 불확실성 가이드 최적화를 시연한다.
• 모델 학습을 변경하지 않고 베이지안 최적화 및 그래디언트 기반 잠재 공간 최적화 방법과의 호환성을 보인다.

제안 방법

• IS-MI(Importance Sampling-based Mutual Information) 추정기를 활용해 디코더의 에피스테믹 불확실성을 정의하고 추정한다.
• 불확실성 인식을 갖춘 대리모형을 활용한 베이지안 최적화나 검열/불확실성 제약 경사 상승을 포함하는 최적화 프레임워크에 디코더 불확실성을 통합한다.
• 모델 매개변수의 근사적인 사후분포에서 샘플을 뽑고, 그 샘플들 아래에서 디코딩을 수행해 p(y|x,θ)를 계산하는 실용적 추정기를 제공한다.
• 세 가지 설정(숫자 생성, 산술식 근사, 분자 생성)에서 다양한 구조(Conv-Deconv, CVAE, JT-VAE)를 활용해 이 방법을 적용한다.
• IS-MI를 토큰 독립성 MI(TI-MI) 및 벤치마크와 비교하고, 디코딩의 유효성과 목표 성능을 평가한다.

실험 결과

연구 질문

• RQ1 고차원 구조화된 출력에서 디코더의 에피스테믹 불확실성을 신뢰할 수 있게 추정할 수 있는가?
• RQ2 높은 불확실성을 가진 잠재 포인트를 검열하거나 페널티를 주는 것이 목적 성능을 저하시키지 않으면서 디코딩된 객체의 유효성을 개선하는가?
• RQ3 다른 구조에서 숫자, 산술식, 분자 생성 과제에서 디코더 불확실성 가이드 최적화가 어떤 성능을 보이는가?
• RQ4 고차원 설정에서 IS-MI가 TI-MI보다 더 강건한가?
• RQ5 모델 학습을 바꾸지 않고 불확실성 가이드 최적화를 베이지안 최적화 및 그래디언트 기반 잠재 공간 방식과 통합할 수 있는가?

주요 결과

• 디코더 불확실성은 디코딩 유효성과 상관관계가 있다: 불확실성이 낮은 영역에서 더 유효한 디코딩이 나타난다.
• IS-MI는 TI-MI보다 분산이 낮은 MI 추정치를 제공하고 위험이 높은 잠재 포인트를 더 잘 식별한다.
• 불확실성 가이드 최적화는 숫자, 산술식, 분자 설계 전반에서 페널라이즈된 목적 값 및/또는 유효성을 기준선 대비 더 높게 산출한다.
• 베이지안 최적화 중 높은 불확실성 포인트를 검열하면 유효성이 향상되고 우수한 특성을 가진 분자 발견이 가능해진다.
• NLLP(사전 가능도) 제약은 IS-MI에 비해 최적화 성능을 저해할 수 있다.
• JT-VAE 실험에서 불확실성 가이드 최적화는 품질 필터를 유지하면서도 높은 페널라이즈드 로그P 값을 달성하고, 디코더 불확실성을 무시하는 벤치마크보다 우수하다.