[논문 리뷰] Efficient nonmyopic active search with applications in drug and materials discovery

Shali Jiang, Gustavo Malkomes외 2명|arXiv (Cornell University)|2018. 11. 21.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 약물 및 재료 발견에서 탐색 예산이 제한된 상황에서 희귀한 양성 항목을 효율적으로 식별하기 위한 비미시적(active) 탐색 정책을 제안한다. 이 정책은 조정 매개변수 없이 탐색과 이용의 균형을 유지하며, 베이지안 의사결정 프레임워크를 도입하고 이론적 난이도 및 적응성 갭 경계를 증명하며, 실제 데이터셋에서 순차적 및 배치 설정 모두에서 미시적 기준보다 뛰어난 성능을 보여준다.

ABSTRACT

Active search is a learning paradigm for actively identifying as many members of a given class as possible. A critical target scenario is high-throughput screening for scientific discovery, such as drug or materials discovery. In this paper, we approach this problem in Bayesian decision framework. We first derive the Bayesian optimal policy under a natural utility, and establish a theoretical hardness of active search, proving that the optimal policy can not be approximated for any constant ratio. We also study the batch setting for the first time, where a batch of $b>1$ points can be queried at each iteration. We give an asymptotic lower bound, linear in batch size, on the adaptivity gap: how much we could lose if we query $b$ points at a time for $t$ iterations, instead of one point at a time for $bt$ iterations. We then introduce a novel approach to nonmyopic approximations of the optimal policy that admits efficient computation. Our proposed policy can automatically trade off exploration and exploitation, without relying on any tuning parameters. We also generalize our policy to batch setting, and propose two approaches to tackle the combinatorial search challenge. We evaluate our proposed policies on a large database of drug discovery and materials science. Results demonstrate the superior performance of our proposed policy in both sequential and batch setting; the nonmyopic behavior is also illustrated in various aspects.

연구 동기 및 목표

• 과학적 발견에서 라벨링 예산이 제한된 상황에서 희귀한 양성 항목(예: 효과적인 약물 또는 재료)을 식별하는 데 도전 과제를 해결한다.
• 단기적 영향을 고려하는 것이 아니라 장기적 영향을 고려하는 비미시적 활성 탐색 정책을 개발하여, 단기적 사고의 한계를 피한다.
• 순차적 및 배치 설정 모두에서 활성 탐색에 대한 이론적 기초를 확립하며, 근사화 난이도 및 적응성 갭 경계를 포함한다.
• 탐색과 이용을 자동으로 균형 잡는 효율적이고 초깃세팅이 없는 정책을 설계한다.
• 비미시적 정책을 배치 활성 탐색으로 일반화하면서도, 비미시적 행동과 계산의 실현 가능성을 유지한다.

제안 방법

• 양성 항목의 수를 세는 자연스러운 유용도 함수를 사용하여 활성 탐색을 베이지안 의사결정 문제로 공식화한다.
• 이 유용도 하에서 베이지안 최적 정책을 도출하고, 다항시간 정책이 일정 요율 근사 비율을 달성할 수 없다는 것을 증명한다.
• 각 후보 점이 향후 질의 유용도에 끼치는 장기적 영향을 평가하는 새로운 비미시적 근사 방법을 도입한다.
• 조합 최적화 문제를 다루기 위해 두 가지 효율적인 근사 기법을 제안함으로써 정책을 배치 활성 탐색으로 일반화한다.
• 모든 미래 경로를 명시적으로 나열하지 않고도 효율적인 계산을 가능하게 하기 위해 기대 경계 기반의 대체 유용도를 사용한다.
• 모델의 과도한 확률을 줄여 근처 점의 확률을 감소시켜 다양성을 증진시키는 희망적 오라클을 시뮬레이션에 통합하여 탐색을 강화한다.

실험 결과

연구 질문

• RQ1 비미시적 활성 탐색 정책은 강력한 이론적 보장을 유지하면서도 효율적으로 계산될 수 있는가?
• RQ2 순차적 및 배치 활성 탐색 정책 간의 이론적 적응성 갭은 무엇이며, 배치 크기와 어떻게 관련되는가?
• RQ3 실제 과학적 발견 환경에서 비미시적 행동은 미시적 또는 탐욕적 정책보다 성능을 어떻게 향상시키는가?
• RQ4 비미시적 정책은 수동적인 초깃세팅 조정 없이 탐색과 이용을 자동으로 균형 잡을 수 있는가?
• RQ5 모델의 잘못된 특정화가 실용적 응용에서 비미시적 정책의 성능에 어느 정도 영향을 미치는가?

주요 결과

• 최적의 활성 탐색 정책은 계산적으로 비가능하며, 어떤 다항시간 알고리즘도 일정 요율 근사 비율을 달성할 수 없다.
• 적응성 갭에 대한 渐近적 하한 경계를 확립함: 배치 크기 b로 배치 탐색을 수행할 경우 순차적 질의의 최적 성능은 최소 Ω(b/log T) 배 더 뛰어나다.
• 제안된 비미시적 정책인 batch-ens는 실제 약물 및 재료 발견 데이터셋에서 순차적 및 배치 설정 모두에서 미시적 기준보다 뚜렷이 뛰어난 성능을 보였다.
• 실험 결과는 batch-ens가 시간이 지남에 따라 선택 확률이 증가함을 보여주며, 이는 초기에는 탐색을 우선시하고 후기에는 이용을 중시하는 비미시적 행동을 나타낸다.
• 희망적 오라클은 배치 내 다양성을 증진시켜 쿼리의 집합을 방지하는 효과적인 반발력을 시뮬레이션함으로써 성능을 향상시켰다.
• 이론적 경계에도 불구하고, 더 큰 배치 크기(예: 5)를 사용한 batch-ens는 더 작은 크기(예: 1)를 사용한 경우보다 종종 더 뛰어난 성능을 보였으며, 이는 실무에서 더 큰 배치가 탐색을 향상시킬 수 있음을 시사한다.