[논문 리뷰] Can machine learning identify interesting mathematics? An exploration using empirically observed laws

Chai Wah Wu|arXiv (Cornell University)|2018. 05. 18.

Benford’s Law and Fraud Detection참고 문헌 13인용 수 6

한 줄 요약

이 논문은 기계학습이 경험 법칙—벤포르드의 법칙과 테일러의 법칙—을 특징 추출기로 활용하여 수학적으로 흥미로운 정수열을 식별할 수 있는지 조사한다. 40,000개의 OEIS 수열을 사용해 유도된 통계적 특징에 기반한 분류기를 훈련한 결과, 엑스트라 트리와 신경망과 같은 모델이 '좋음', '소수', '회문'과 같은 레이블 예측에서 기준 방법보다 뛰어난 성능을 보이며, 경험 법칙이 수학적으로 중요한 수열의 핵심 성질을 포착하고 있음을 시사한다.

ABSTRACT

We explore the possibility of using machine learning to identify interesting mathematical structures by using certain quantities that serve as fingerprints. In particular, we extract features from integer sequences using two empirical laws: Benford's law and Taylor's law and experiment with various classifiers to identify whether a sequence is, for example, nice, important, multiplicative, easy to compute or related to primes or palindromes.

연구 동기 및 목표

• 기계학습이 수치적 특징만을 사용해 정수열의 정성적 수학적 흥미를 탐지할 수 있는지 탐색하기.
• 벤포르드의 법칙과 테일러의 법칙과 같은 경험적으로 관찰된 법칙이 수학적 수열을 분류하는 데 효과적이고 불변적인 특징으로 기능하는지 평가하기.
• 다양한 분류기의 성능을 정수열 데이터에서 주관적 또는 영역 전문 레이블(예: '좋음', '핵심', '소수')을 예측하는 데 평가하기.
• 이러한 경험 법칙이 수학적으로 중요한 수열의 내재된 성질을 얼마나 잘 포착하는지 확인하기.
• 수의 분포에서 유도된 통계적 지문을 사용해 흥미로운 수열과 그렇지 않은 수열을 구분하는 데의 잠재력을 탐구하기.

제안 방법

• 벤포르드의 법칙을 사용해 각 수열에서 14개의 특징을 추출: 최초 자릿수 빈도 및 관측된 분포와 기대된 벤포르드 분포 간의 네 가지 통계적 거리(KL 발산, KS 통계량, 워샤우르스테인 거리, 총 변동 거리).
• 테일러의 법칙을 적용해 수열 항의 평균과 분산 간의 관계를 계산하고, 거듭제곱 법칙을 피팅하여 매개변수 Ta와 Tb를 추정한다.
• 온라인 정수열 온라인 백과사전(OEIS)을 40,000개의 수열(최소 990개의 항을 포함)으로 구성된 정제된 데이터셋으로 사용하며, 각 수열은 '좋음', '소수', '회문', '이항', '다중', '핵심' 등의 키워드로 레이블링된다.
• 14차원 특징 공간에서 신경망, 랜덤 포레스트, 엑스트라 트리의 세 분류기를 훈련하고 비교하여 수열 레이블을 예측한다.
• 정확도, 정밀도, 재현율, F1 스코어와 같은 표준 지표를 사용해 성능을 평가하고, 랜덤 기준 분류기와 비교한다.
• 일반화 능력을 시험하기 위해 훈련 세트에 포함되지 않은 관련 수열(예: A059259는 A059260에 대해)에 대해 모델이 정확한 레이블을 예측하는지 확인한다.

실험 결과

연구 질문

• RQ1 벤포르드의 법칙과 테일러의 법칙과 같은 경험 법칙이 수학적으로 흥미로운 수열과 무작위 수열을 구분하는 데 효과적이고 저차원적인 특징으로 기능할 수 있는가?
• RQ2 이러한 특징에 기반한 기계학습 분류기가 '좋음'이나 '소수'와 같은 주관적 또는 수학적 레이블을 예측하는 데 랜덤 기준보다 뛰어난 성능을 보일 수 있는가?
• RQ3 분류기가 훈련 세트에 명시적으로 포함되지 않은 관련 수열에 얼마나 잘 일반화되는가? 이는 학습된 패턴 인식 능력을 시사한다.
• RQ4 '다중'(multiplicative) 레이블이 특히 높은 성능을 보이는 이유는 무엇이며, 이는 수학적 정의 때문인지 특징 표현 때문인가?
• RQ5 특히 지지도 낮은 레이블에 대해 신경망, 랜덤 포레스트, 엑스트라 트리 등의 다양한 분류기 성능 지표를 어떻게 비교할 수 있는가?

주요 결과

• 엑스트라 트리 분류기가 가장 높은 종합 성능을 보였으며, 랜덤 포레스트와 신경망이 그 뒤를 이었다. 이들은 모두 랜덤 기준 분류기보다 유의미하게 뛰어난 성능을 보였다.
• 신경망은 '좋음' 레이블에 대해 완벽한 정밀도(거짓 양성 없음)를 달성하여 참 양성에 대해 매우 높은 신뢰도를 보였다.
• 엑스트라 트리 분류기는 '회문' 레이블에 대해 의미 있는 정밀도와 재현율을 확보했고, 다른 모델들은 완전히 실패한 것으로 나타나, 이 패턴에 대해 더 민감한 감지 능력을 지녔음을 시사한다.
• 모든 모델에서 '다중'(multiplicative) 수열에 대한 성능이 기준 수준보다 크게 높았으며, 이는 경험 법칙이 다중성 수열의 구조적 성질을 포착할 수 있음을 시사한다.
• 모델들은 훈련 세트에 포함되지 않은 관련 수열, 예를 들어 A059259와 A182009에 대해 '이항'과 '좋음' 레이블을 성공적으로 예측하여, 정확한 일치를 넘어서 일반화된 성능을 보였다.
• 중간 정도의 종합 점수에도 불구하고 결과는 경험 법칙이 수학적으로 중요한 수열의 의미 있는 구분 특징을 담고 있음을 시사하며, 단지 14개의 특징으로도 충분히 효과적임을 보여준다.