[논문 리뷰] Design by adaptive sampling

David H. Brookes, Jennifer Listgarten|arXiv (Cornell University)|2018. 10. 08.

Machine Learning and Algorithms참고 문헌 30인용 수 33

한 줄 요약

이 논문은 설계 기반 적응 샘플링(Design by Adaptive Sampling, DbAS)을 제안한다. DbAS는 비확률적 생성 모델과 블랙박스 예측 오라클을 조합하여 DNA 또는 단백질 서열에서 원하는 성질을 최대화하거나 특정화하는 데 효율적으로 입력 설계 문제를 해결하는 확률적 프레임워크이다. 불확실성 인식 오라클 피드백에 따라 생성 모델에서 적응적으로 샘플링함으로써, DbAS는 최대화 및 특정화 작업 모두에서 기존 방법을 뛰어넘는 성능을 보이며, 특히 노이즈가 있거나 미분 불가능한 오라클 조건에서도 뛰어난 성능을 발휘한다.

ABSTRACT

We present a probabilistic modeling framework and adaptive sampling algorithm wherein unsupervised generative models are combined with black box predictive models to tackle the problem of input design. In input design, one is given one or more stochastic "oracle" predictive functions, each of which maps from the input design space (e.g. DNA sequences or images) to a distribution over a property of interest (e.g. protein fluorescence or image content). Given such stochastic oracles, the problem is to find an input that is expected to maximize one or more properties, or to achieve a specified value of one or more properties, or any combination thereof. We demonstrate experimentally that our approach substantially outperforms other recently presented methods for tackling a specific version of this problem, namely, maximization when the oracle is assumed to be deterministic and unbiased. We also demonstrate that our method can tackle more general versions of the problem.

연구 동기 및 목표

• 스토캐스틱 또는 결정론적 오라클을 사용하여 원하는 성질 값을 갖는 입력(예: DNA 또는 단백질 서열)을 설계하는 데 도전하는 것.
• 재학습이나 지도 미세조정이 필요 없이, 비미분 가능하거나 노이즈가 있는, 또는 블랙박스 예측 모델을 다룰 수 있는 방법을 개발하는 것.
• 통합된 프레임워크 안에서 성질 최대화와 특정 값 설정(특정 성질 값 목표 설정)을 동시에 지원하는 것.
• 오라클 예측의 불확실성을 활용하여 시뮬레이션 기반 방향성 진화의 샘플 효율성을 향상시키는 것.

제안 방법

• DbAS는 입력 공간을 표현하기 위해 플러그 앤 플레이 생성 모델로 변분 오토에인코더(Variational Autoencoder, VAE)를 사용한다.
• 각 반복 단계에서 현재 VAE에서 샘플을 추출하고, 블랙박스 오라클을 통해 샘플을 평가하며, 예측된 성질 값에 따라 샘플을 재가중한다.
• 샘플 가중치는 오라클의 예측 값과 불확실성에 기반하여 가중 최대우도 추정(Weighted Maximum Likelihood Estimation, MLE)을 통해 VAE를 재학습시킨다.
• 알고리즘은 반복 과정에서 생성 모델을 적응적으로 개선하여, 예상 성질 값이 높은 입력 공간 영역에 집중한다.
• 정확한 노이즈(예: 동일 분산)를 사전에 모델링함으로써, 결정론적 및 노이즈가 있는 오라클 모두를 다룰 수 있으며, 이는 안정성 향상에 기여한다.
• 목표 목적을 조정하고 관심 성질의 목표 값 범위를 사용하여 최대화 및 특정화 작업을 동시에 지원한다.

실험 결과

연구 질문

• RQ1 예측 오라클의 비미분 가능성을 고려하여도 원하는 성질을 최대화하는 데 효율적인 입력 설계 방법을 개발할 수 있는가?
• RQ2 오라클 예측의 불확실성을 어떻게 활용하여 입력 설계의 샘플 효율성을 향상시킬 수 있는가?
• RQ3 동일한 최적화 루프 안에서 최대화 및 특정화 작업을 동시에 지원할 수 있는 동일한 프레임워크가 가능한가?
• RQ4 오라클 노이즈가 증가함에 따라 이 방법의 성능는 어떻게 변화하며, 노이즈를 명시적으로 모델링하면 성능 향상을 기대할 수 있는가?
• RQ5 초기 학습 데이터 없이 제로샷 또는 희귀사례 설계 시나리오로의 일반화 능력은 어느 정도 가능할 수 있는가?

주요 결과

• 100,000개 샘플 예산 하에 다섯 차례 반복한 결과, DbAS는 FB-GAN 및 FB-VAE와 같은 기준 방법들보다 단백질 발현 최대화에서 뚜렷한 성능 향상을 보였다.
• 특정화 작업에서는 DbAS가 목표 발현 값 주변으로 생성된 서열의 분포를 효과적으로 집중시켰으며, 오라클 분산을 0.36에서 0.05로 인하함으로써 더 날카운 분포를 달성했다.
• 노이즈가 있는 오라클에 대해 명시적인 노이즈 모델링을 통해 안정성을 향상시키고 수렴 속도를 높이며 출력 예측의 분산을 감소시켰다.
• 특히 DNA 서열과 같은 고차원이고 이산적인 입력 공간에서 DbAS의 성능 격차는 가장 두드러졌다.
• DbAS의 VAE 기반 생성 모델은 알려진 한계인 '흐림' 현상으로 인해, 낮은 오라클 분산 조건에서도 최적 서열에 완전히 수렴하지 못했다.
• 이 프레임워크는 일반성과 확장성이 뛰어나 실수값 및 이산 설계 공간을 모두 지원하며, 향후 개발을 통해 제로샷 또는 희귀사례 생성으로도 응용 가능하다.