[논문 리뷰] Materials Discovery using Max K-Armed Bandit

Nobuaki Kikkawa, Hiroshi Ohno|arXiv (Cornell University)|2022. 12. 16.

Machine Learning in Materials Science인용 수 7

한 줄 요약

이 논문은 자료 과소의 재료 과학에서 비용이 많이 들기 쉬운 다수의 초모수를 필요로 하지 않는 단일 초모수를 가진 최적화된 Max K-Armed Bandit (MKB) 알고리즘을 제안한다. 이 알고리즘은 최고의 보상의 기대 개선도(EI)의 상한 신뢰구간(UCB)의 가짜값을 사용하여 잠재적으로 높은 성과를 낼 수 있는 고위험 재료 후보를 우선순위로 정렬한다. 이 방법은 渐近적으로 최적이며, 기존의 밴딧 알고리즘보다 후기 단계의 탐색에서 최적의 암이 불확실할 때 더 뛰어난 성능을 보이며, 몬테카를로 트리 탐색(MCTS)을 통해 합성 및 분자 설계 작업에서 강력한 성능을 보인다.

ABSTRACT

Search algorithms for the bandit problems are applicable in materials discovery. However, the objectives of the conventional bandit problem are different from those of materials discovery. The conventional bandit problem aims to maximize the total rewards, whereas materials discovery aims to achieve breakthroughs in material properties. The max K-armed bandit (MKB) problem, which aims to acquire the single best reward, matches with the discovery tasks better than the conventional bandit. Thus, here, we propose a search algorithm for materials discovery based on the MKB problem using a pseudo-value of the upper confidence bound of expected improvement of the best reward. This approach is pseudo-guaranteed to be asymptotic oracles that do not depends on the time horizon. In addition, compared with other MKB algorithms, the proposed algorithm has only one hyperparameter, which is advantageous in materials discovery. We applied the proposed algorithm to synthetic problems and molecular-design demonstrations using a Monte Carlo tree search. According to the results, the proposed algorithm stably outperformed other bandit algorithms in the late stage of the search process when the optimal arm of the MKB could not be determined based on its expectation reward.

연구 동기 및 목표

• 기대 총 보상을 최대화하도록 설계된 전통적인 밴딧 알고리즘과는 달리, 극단적인 재료 성질에서의 돌파구를 찾는 재료 발견과의 괴리 문제를 해결한다.
• 시간 범위나 다수의 초모수를 필요로 하는 기존 MKB 알고리즘의 한계를 극복하며, 자료가 부족한 재료 과학에서 비용이 많이 드는 초모수 조정을 줄인다.
• MCTS를 사용한 자동 재료 발견 파이프라인에 특화된 실용적이고 안정적이며 효율적인 탐색 알고리즘을 개발한다.
• 시간에 종속되지 않는 오라클(키카와의 게으른 오라클)을 도입하여 MKB 알고리즘의 이론적 분석을 가능하게 하며, 기존 밴딧과 유사한 방식으로 분석할 수 있도록 한다.
• 실재 재료 발견 과제, 특히 MCTS 기반 분자 설계에 최초로 MKB 알고리즘의 실용적 응용을 보여준다.

제안 방법

• 최고의 보상의 기대 개선도(EI)의 상한 신뢰구간(UCB)의 가짜값에 기반한 선택 지수를 제안하여, 잠재적으로 높은 성과를 낼 수 있는 암의 탐색과 기존에 성과가 뛰어난 암의 이용 간 균형을 이룬다.
• 시간 범위 T에 종속되지 않는 새로운 오라클인 키카와의 게으른 오라클을 정의하여, 渐近적으로 최적임을 보장하는 분석을 가능하게 한다.
• UCB 항목에 대해 단일 초모수(c)를 사용하여, 기존 MKB 방법이 다수의 파rameter가 필요한 것과는 달리 조정의 부담을 줄였다.
• 분자 설계에서 순차적인 재료 생성과 평가를 안내하기 위해 몬테카를로 트리 탐색(MCTS) 프레임워크 내에서 알고리즘을 구현하였다.
• UCB 공식의 신뢰구간을 안정화하기 위해 첫 P=10회의 무작위 시도로부터 분산 파라미터 σ를 추정하였다.
• 이론적 경계를 유도하여, 제안된 알고리즘이 MKB 설정 하에서 渐近적으로 최적임을 보이며, 진정한 최고의 암으로 수렴함을 보였다.

실험 결과

연구 질문

• RQ1 단일 초모수를 가진 Max K-Armed Bandit 알고리즘이 재료 발견 과제에서 기존 MKB 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 최고의 보상의 기대 개선도(EI)의 UCB를 사용하면 표준 UCB나 다른 밴딧 전략보다 고위험·고수익 재료 후보의 탐색이 더 잘 이루어지는가?
• RQ3 최적의 암이 기대 보상만으로 특정되지 않을 때, 후기 단계의 탐색에서 제안된 알고리즘이 어떻게 성능을 보이는가?
• RQ4 MKB 문제에 대해 시간에 종속되지 않는 오라클을 정의할 수 있는가? 이를 통해 기존 밴딧과 유사하게 渐近적으로 최적임을 분석할 수 있는가?
• RQ5 MCTS 기반 분자 설계 과제에서 데이터 효율성과 돌파구 가능성의 중요성이 높은 상황에서 제안된 MKB 알고리즘이 실용적으로 효과적인가?

주요 결과

• 제안된 MKB 알고리즘은 최적의 암이 기대 보상만으로 특정되지 않을 때 후기 탐색 단계에서 다른 밴딧 알고리즘보다 안정적으로 뛰어난 성능을 보였다.
• 최고의 보상의 기대 개선도(EI)의 UCB를 활용하여 渐近적으로 최적임을 확보하였으며, 이론적 보장 하에 진정한 최고의 암으로 수렴함을 보였다.
• 단일 초모수(c)만을 사용함으로써, 재료 발견에서 주로 발생하는 시간이 많이 소요되는 초모수 조정의 필요성을 크게 줄였다.
• 키카와의 게으른 오라클의 도입으로, 기존 밴딧 문제와 유사한 방식으로 MKB에 대한 이론적 프레임워크를 확립하였으며, 분석과 비교를 용이하게 하였다.
• MCTS 기반 분자 설계 실험에서, 제안된 알고리즘은 기준 밴딧 방법보다 더 빠르고 신뢰성 있게 고성능 분자 후보를 식별하는 데 성공하였다.
• 합성 문제와 실제 분자 설계 모두에서 이론적 우월성과 일관된 우수성을 보이며 극단적인 물성치를 갖는 재료의 특성을 식별하는 데 뛰어난 내구성을 보였다.