[논문 리뷰] Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining

Austin Tripp, Erik Daxberger외 1명|arXiv (Cornell University)|2020. 06. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 78인용 수 37

한 줄 요약

이 논문은 고차원 구조적 입력에 대한 블랙박스 최적화의 샘플 효율성을 개선하기 위해 잠재 공간 최적화에서 가중 재훈련(weighted retraining)을 제시한다.

ABSTRACT

Many important problems in science and engineering, such as drug design, involve optimizing an expensive black-box objective function over a complex, high-dimensional, and structured input space. Although machine learning techniques have shown promise in solving such problems, existing approaches substantially lack sample efficiency. We introduce an improved method for efficient black-box optimization, which performs the optimization in the low-dimensional, continuous latent manifold learned by a deep generative model. In contrast to previous approaches, we actively steer the generative model to maintain a latent manifold that is highly useful for efficiently optimizing the objective. We achieve this by periodically retraining the generative model on the data points queried along the optimization trajectory, as well as weighting those data points according to their objective function value. This weighted retraining can be easily implemented on top of existing methods, and is empirically shown to significantly improve their efficiency and performance on synthetic and real-world optimization problems.

연구 동기 및 목표

• 비싼 목적함수를 가지는 고차원 구조적 입력 공간에 대한 잠재 공간 최적화(LSO)의 동기를 제시한다.
• 표준 LSO의 학습 잠재적 실행 가능 영역과 정보 전파와 관련된 두 가지 실패 모드를 식별한다.
• 최적화를 위해 잠재 공간을 적응시키는 가중 데이터 학습과 주기적 재훈련을 제안한다.
• 가중화와 재훈련의 결합이 합성 및 실제 작업에서 효율성을 향상시킨다는 것을 보인다.

제안 방법

• 잠재 공간을 고성능 지점 쪽으로 편향하도록 가중 학습 목표를 사용하여 깊은 생성 모델 g: Z -> X를 학습한다.
• 데이터 포인트에 양의 가중치 w_i를 할당하여 훈련 중 높은 점수를 받는 샘플을 강조한다(순위 기반 가중치 부여(w(x; D, k))를 통해).
• 가중 데이터 세트에서 주기적으로 재훈련하거나 가중 데이터 세트에서 미세 조정하여 새로운 정보에 잠재 매니폴드를 맞춘다.
• X를 잠재 점 Z로 매핑하기 위해 역 모델 q를 사용하여 잠재 목표 h: Z -> R을 적합하고 최적화를 안내한다.
• 가중 재훈련과 잠재 공간 최적화를 결합하여 새로운 잠재 점을 선택하고 f(g(z))를 조회한다.
• 반복적 가중 재훈련과 잠재 공간 최적화를 개략적으로 제시하는 간단한 알고리즘(Algorithm 1)을 제공한다.

실험 결과

연구 질문

• RQ1 훈련 데이터의 가중이 LSO에서 심층 생성 모델의 잠재 공간 분포에 어떤 영향을 미치는가?
• RQ2 생성 모델의 주기적 재훈련이 새로운 높은 점수의 데이터를 통합하고 최적화 가능한 영역을 확장하는 데 도움이 되는가?
• RQ3 가중화와 재훈련의 결합이 표준 LSO 및 다양한 작업에서 샘플 효율성을 개선하는가?
• RQ4 가중 재훈련이 교차 엔트로피 기반 방법 및 도메인 특화 BO 방법과 실제 문제(예: 화학 설계)에서 어떻게 비교되는가?

주요 결과

• 가중 학습은 과제 전반에 걸쳐 잠재 공간 분포를 더 높은 목표값 쪽으로 이동시킨다.
• 가중화와 주기적 재훈련을 함께 사용하면 두 기술 중 하나만 사용할 때보다 더 나은 성능을 보이며 시너지 효과를 나타낸다.
• 가중 재훈련은 k_low 및 r_low와 함께하여 최적화 성능을 향상시키고 초기 학습 데이터를 넘어 외삽을 가능하게 한다.
• DbAS, CEM-PI, FBVAE, RWR와 비교하여 LSO와의 가중 재훈련은 화학 설계 과제에서 더 높은 샘플 효율성과 더 나은 최종 점수를 달성한다.
• ZINC250k 약물 설계 벤치마크에서 본 방법은 500 샘플을 사용해 최적 점수 27.84를 달성했으며, 여러 기본 방법들을 능가했다.
• 이 방법은 널리 사용되는 화학 설계 벤치마크에서 최첨단 방법들에 비해 상당한 개선을 가져온다.