[논문 리뷰] Gradient-Based Training and Pruning of Radial Basis Function Networks with an Application in Materials Physics

Jussi Määttä, Viacheslav Bazaliy외 4명|arXiv (Cornell University)|2020. 04. 06.

Machine Learning in Materials Science참고 문헌 29인용 수 20

한 줄 요약

이 논문은 원추함수 네트워크(RBFNs)의 완전한 기울기 기반 학습 및 프루닝 프레임워크를 제안하여 재료 물리학에서 높은 예측 정확도와 해석 가능성을 달성한다. 베르누이, 균일, 또는 가우시안 혼합 입력 가정 하에 폐쇄형 목표 함수를 사용하여 더 작은 RBFN을 큰 과다 매개변수화된 RBFN을 전역적으로 근사하도록 최적화함으로써, 이 방법은 구리 표면 확산 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 사전 기하학적 지식 없이도 물리적으로 의미 있는 원자 패턴을 드러낸다.

ABSTRACT

Many applications, especially in physics and other sciences, call for easily interpretable and robust machine learning techniques. We propose a fully gradient-based technique for training radial basis function networks with an efficient and scalable open-source implementation. We derive novel closed-form optimization criteria for pruning the models for continuous as well as binary data which arise in a challenging real-world material physics problem. The pruned models are optimized to provide compact and interpretable versions of larger models based on informed assumptions about the data distribution. Visualizations of the pruned models provide insight into the atomic configurations that determine atom-level migration processes in solid matter; these results may inform future research on designing more suitable descriptors for use with machine learning algorithms.

연구 동기 및 목표

• 최적의 두 단계 학습 히وري스틱을 피하는 스케일러블한 완전한 기울기 기반 RBFN 학습 방법 개발.
• 고차원 원자 환경 회귀에서의 해석 가능성 문제를 해결하기 위해 큰 RBFN을 단순하고 의미 있는 모델로 프루닝하는 것.
• 이진 격자 표현으로부터의 불완전한 데이터 일반화를 가능하게 하기 위해 불변 패턴을 학습하는 것.
• 기울기 부스팅 트리와 유사한 성능을 달성하면서도 원칙적인 프루닝을 통해 해석 가능한 RBFN이 될 수 있음을 입증하는 것.
• 원자 구조에서 학습된 대칭성을 통해 더 나은 불변 기술자 설계를 이끌어내는 것.

제안 방법

• 지속적인 백프로파게이션과 현대 최적화 기법(예: Adam, 학습률 스케줄링)을 사용하여 PyTorch로 RBFN을 학습하여 국소 최소값을 피함.
• 입력 데이터 분포 전체에 걸쳐 기대 차이를 최소화함으로써 프루닝을 위한 폐쇄형 최적화 기준 유도 — 단지 학습 데이터 포인트에 국한되지 않음.
• 세 가지 입력 분포 기반 프루닝 목표 함수 설정: 베르누이(이진 격자 위치), 연속 균일, 가우시안 혼합.
• 베르누이 기반 프루닝 목표 함수를 사용하여 수천 개의 중심점이 있는 큰 RBFN을 예측 정확도를 유지하면서 단 16개의 중심점으로 축소.
• 작은 RBFN의 모든 매개변수를 동시에 최적화하기 위해 프루닝 목표 함수 적용 — 더 큰 모델의 전역 근사를 보장.
• 최종 중심점을 시각화하여 평탄화된 이진 입력 벡터만을 본 모델임에도 불구하고 3차원 대칭성(예: 반사 및 회전 불변성)을 가진 패턴을 식별함.

실험 결과

연구 질문

• RQ1 완전한 기울기 기반 RBFN 학습 방법이 재료 물리 데이터에서 기울기 부스팅 트리와 같은 최신 기술 모델과 유사한 예측 성능을 달성할 수 있는가?
• RQ2 큰 과다 매개변수화된 네트워크의 예측 행동을 유지하면서도 단순하고 해석 가능한 모델로 RBFN을 어떻게 프루닝할 수 있는가?
• RQ3 입력 데이터가 특정 분포(예: 베르누이 또는 가우시안 혼합)를 따를 경우 RBFN 프루닝을 위한 폐쇄형 최적화 기준은 무엇인가?
• RQ4 이진 격자 표현에서 학습된 RBFN은 사전 기하학적 인덕티브 바이어스 없이도 물리적으로 의미 있는 3차원 대칭성을 학습할 수 있는가?
• RQ5 단순화된 RBFN 중심점은 원자 기반 기계 학습에서 더 불변적이고 효율적인 기술자 설계를 위한 패턴을 어느 정도 드러낼 수 있는가?

주요 결과

• 제안된 기울기 기반 RBFN 학습 방법은 구리 표면 확산 데이터셋에서 하이퍼파rameter 최적화된 기울기 부스팅 결정 트리와 유사한 예측 성능을 달성했다.
• 베르누이 기반 프루닝 목표 함수를 사용하여 수천 개의 중심점에서 시작한 RBFN을 단 16개의 중심점으로 성공적으로 축소하여 매우 단순하고 해석 가능한 모델을 확보했다.
• 단순화된 중심점의 시각화 결과, 모델이 평탄화된 이진 입력 표현만을 받았음에도 불구하고 반사 및 회전 불변성과 같은 물리적으로 의미 있는 3차원 대칭성 패턴이 드러났다.
• 학습 데이터 포인트가 아닌 데이터 분포 전체에 걸친 기대 차이를 최소화함으로써 단순화된 RBFN은 강력한 일반화 성능을 유지했다.
• 수천 개의 중심점을 가진 큰 RBFN은 과적합 없이 학습될 수 있음을 입증하여, 프루닝이 주로 정규화가 아닌 해석 가능성 향상 도구로 기능할 수 있음을 보여주었다.
• 입력 가중치에서 학습된 패턴은 향후 모델에서 데이터 증강 또는 대표 샘플링이 필요 없도록 하는 새로운 대칭 불변 기술자 설계를 위한 유용한 템플릿을 제안한다.