[논문 리뷰] Deep Generative Symbolic Regression with Monte-Carlo-Tree-Search

Pierre-Alexandre Kamienny, Guillaume Lample외 2명|arXiv (Cornell University)|2023. 02. 22.

Evolutionary Algorithms and Applications인용 수 5

한 줄 요약

이 논문은 심볼릭 회귀에서 최고 성능을 내는 SRBench 벤치마크를 달성하기 위해 사전 훈련된 딥 생성 모델과 몬테카를로 트리 서치(MCTS)를 결합한 새로운 심볼릭 회귀 방법인 DGSR-MCTS를 제안한다. 합성 데이터에서 사전 훈련된 컨텍스트 인식 신경 변이 정책을 사용하고, 검색 중에 온라인으로 미세조정함으로써 탐색과 이용의 균형을 이루며, 기존의 GP 방법보다 훨씬 적은 평가 수로 높은 정확도와 단순한 식을 도출한다.

ABSTRACT

Symbolic regression (SR) is the problem of learning a symbolic expression from numerical data. Recently, deep neural models trained on procedurally-generated synthetic datasets showed competitive performance compared to more classical Genetic Programming (GP) algorithms. Unlike their GP counterparts, these neural approaches are trained to generate expressions from datasets given as context. This allows them to produce accurate expressions in a single forward pass at test time. However, they usually do not benefit from search abilities, which result in low performance compared to GP on out-of-distribution datasets. In this paper, we propose a novel method which provides the best of both worlds, based on a Monte-Carlo Tree Search procedure using a context-aware neural mutation model, which is initially pre-trained to learn promising mutations, and further refined from successful experiences in an online fashion. The approach demonstrates state-of-the-art performance on the well-known exttt{SRBench} benchmark.

연구 동기 및 목표

• 기존의 딥 생성 심볼릭 회귀(DGSR) 방법은 검색 능력이 부족하고 분포 외 데이터에서 성능이 열 劣하므로 이를 해결하기 위해.
• 사전 훈련된 DGSR의 속도와 인덕티브 바이어스를 몬테카를로 트리 서치(MCTS)의 검색 효율성과 통합하여 일반화 성능을 향상시키기 위해.
• 사전 훈련된 합성 데이터와 검색 중 온라인 미세조정을 동시에 활용하여 새로운 데이터셋에 적응할 수 있는 방법을 개발하기 위해.
• 실제 세계 및 합성 벤치마크에서 고전적 GP와 이전 DGSR 방법에 비해 더 나은 정확도-복잡도 트레이드오프를 달성하기 위해.

제안 방법

• 이 방법은 합성 데이터에서 사전 훈련된 신경 변이 정책을 사용하며, 이는 MCTS 동안 성공적인 검색 시도의 피드백을 통해 온라인으로 개선된다.
• 비평가 네트워크는 합성 데이터로 초기화되어 있으며, UCB1 스타일의 상한 신뢰도 한계를 사용하여 탐색(낮은 방문 수의 노드)과 이용(높은 성능의 노드)을 균형 잡는 선택 정책을 안내한다.
• MCTS 과정은 기존 식에 학습된 변이를 적용하여 검색 트리를 확장하며, 각 노드는 심볼릭 식을 나타내고 간선은 유효한 변이를 나타낸다.
• 변이 정책과 비평가 네트워크는 여러 데이터셋을 통해 온라인 방식으로 공동으로 미세조정되어 전이 학습이 가능하고, 새로운 데이터 분포에 대한 적응성이 향상된다.
• 데이터셋을 입력 토큰으로 처리하기 위해 트랜스포머 기반 아키텍처를 사용하여 데이터 분포에 따라 컨텍스트 인식 변이 생성이 가능하다.
• 이 방법은 SRBench 벤치마크에서 평가되었으며, 실세계 블랙박스 데이터셋과 페인만 데이터셋을 포함하고 있으며, 주요 평가 지표로 R² 점수와 식 크기를 사용했다.

실험 결과

연구 질문

• RQ1 사전 훈련된 딥 생성 모델을 MCTS와 효과적으로 조합하여 분포 외 데이터에서의 심볼릭 회귀 성능을 향상시킬 수 있는가?
• RQ2 검색 중에 변이 정책과 비평가 네트워크를 온라인으로 미세조정하는 것이 정적 사전 훈련만으로는 달성할 수 없는 더 나은 일반화 성능을 이끌어내는가?
• RQ3 제안된 DGSR-MCTS 방법은 정확도와 식의 단순성 측면에서 최고 수준의 GP 및 DGSR 기준선과 비교해 어떻게 성과를 내는가?
• RQ4 합성 데이터셋을 사용한 사전 훈련과 동시에 다중 데이터셋의 미세조정이 최종 성능에 어떤 영향을 미치는가?

주요 결과

• DGSR-MCTS는 SRBench 벤치마크에서 최고 성능을 기록하여 블랙박스 및 페인만 데이터셋 모두에서 파레토 최적(front, 순위 0)에 위치한다.
• 블랙박스 데이터셋에서 DGSR-MCTS는 테스트 R² 점수 0.846, 식 크기 41을 기록하여 E2E(R² 0.797, 크기 61) 및 기타 기준선을 초월한다.
• 페인만 데이터셋에서는 87%의 문제에서 R² ≥ 0.99를 달성하고 평균 식 크기는 33이며, E2E(R² ≥ 0.99를 80%에서 달성, 크기 121)에 비해 뚜렷이 뛰어나다.
• 절단 실험 결과, 합성 데이터셋을 사용한 사전 훈련과 동시에 다중 데이터셋의 미세조정이 가장 높은 성능을 내며, 블랙박스 데이터셋에서 R² = 0.846, 페인만 데이터셋에서 R² = 0.796를 기록한다.
• 사전 훈련과 온라인 미세조정의 조합이 필수적임을 확인: 둘 중 하나라도 생략하면 성능이 크게 저하된다.
• 특히 이전 DGSR 방법이 성능을 내지 못하는 실세계 및 복잡한 심볼릭 문제에서 뛰어난 정확도-복잡도 트레이드오프를 달성한다.