[논문 리뷰] An Approach to Symbolic Regression Using Feyn

Kevin René Broløs, Meera Vieira Machado외 6명|arXiv (Cornell University)|2021. 04. 12.

Computational Physics and Python Applications인용 수 36

한 줄 요약

본 논문은 Feyn, QLattice를 통한 기호적 회귀를 위한 파이썬 도구를 제시하며, 해석 가능한 그래프 기반 모델을 어떻게 구축하고 가설 주도 데이터 탐색을 안내하는지 보여주며, 유방암 데이터셋으로 실증합니다.

ABSTRACT

In this article we introduce the supervised machine learning tool called Feyn. The simulation engine that powers this tool is called the QLattice. The QLattice is a supervised machine learning tool inspired by Richard Feynman's path integral formulation, that explores many potential models that solves a given problem. It formulates these models as graphs that can be interpreted as mathematical equations, allowing the user to completely decide on the trade-off between interpretability, complexity and model performance. We touch briefly upon the inner workings of the QLattice, and show how to apply the python package, Feyn, to scientific problems. We show how it differs from traditional machine learning approaches, what it has in common with them, as well as some of its commonalities with symbolic regression. We describe the benefits of this approach as opposed to black box models. To illustrate this, we go through an investigative workflow using a basic data set and show how the QLattice can help you reason about the relationships between your features and do data discovery.

연구 동기 및 목표

• 감독 학습 ML 도구 Feyn과 그것의 기호적 회귀 엔진인 QLattice를 소개한다.
• QLattice가 그래프 기반의 수학 모델을 생성, 정제, 해석하는 방식을 설명한다.
• 실제 데이터셋을 사용한 가설 생성 및 검증을 위한 실용적 워크플로를 소개한다.

제안 방법

• QLattice는 입력을 출력에 연결하기 위해 이산 경로를 유한 격자에서 시뮬레이션하며, 강화된 최적 경로에 의해 안내된다.
• 모델은 덧셈, 곱셈, 로그, 지수, tanh, Gaussian 등과 같은 상호작용의 단방향 비순환 그래프(QGraphs)로 표현된다.
• Feyn은 자동 특성 인코딩을 제공하며, 정규화나 원-핫 인코딩이 필요 없고 결과 방정식의 해석가능성을 보존한다.
• 학습 루프는 수천 개의 그래프를 데이터에 적합시키고 최적의 것을 선택한 뒤 격자를 업데이트하여 유용한 해답으로 수렴시킨다.
• 시맨틱 타입(숫자형, 범주형)이 자동 인코딩과 그래프 구성을 안내한다.
• 사용자는 탐색 공간(문제 유형, 특성, 깊이)을 제한하여 탐색에 집중하고 해석가능성을 높인다.

실험 결과

연구 질문

• RQ1 QLattice를 통한 기호적 회귀가 주어진 데이터 질문에 대해 해석 가능한 모델을 어떻게 생성할 수 있는가?
• RQ2 QLGraph 가설을 통해 특징들 사이에서 어떤 관계를 발견할 수 있으며 이것이 목표 변수와 어떻게 관련되는가?
• RQ3 QLattice 탐색 공간 제약이 모델의 해석가능성과 예측 유용성에 어떤 영향을 미치는가?
• RQ4 QLattice가 생성한 가설이 해석가능성을 유지하면서 보지 못한 데이터(홀드아웃 데이터)에 일반화될 수 있는가?
• RQ5 Feyn를 사용한 가설 형성, 정제 및 검증을 가장 잘 촉진하는 워크플로는 무엇인가?

주요 결과

• QLattice는 해석 가능하게 검사하고 해석할 수 있는 그래프 기반 가설의 관리 가능한 집합을 생성한다.
• 그래프의 깊이를 제한하고 특정 특성을 포함시켜 해석 가능한 모델을 도출하면 과학적 추론에 도움이 된다.
• 이 접근 방식은 시각화(ROC 곡선, 확률 점수, 부분 의존성) 등을 통해 가설 성능을 평가하고 과적합을 식별하는 데 도움을 준다.
• 선택된 가설이 홀드아웃 데이터로 일반화될 수 있어, Feyn를 통한 기호적 회귀가 견고하고 설명가능한 모델을 산출한다는 주장을 뒷받침한다.
• 이 워크플로는 과학적 방법과 일치하는 가설 주도 탐색 및 반복적 정제를 강조하며, 순전히 예측 정확도 최대화에 의존하지 않는다.