[논문 리뷰] Informed Equation Learning

Matthias Werner, Andrej Junginger외 2명|arXiv (Cornell University)|2021. 05. 13.

Model Reduction and Neural Networks참고 문헌 33인용 수 6

한 줄 요약

이 논문은 전문 지식을 구조적 희박성 사전 지식을 통해 통합하고, 모든 네트워크 레이어에서 로그와 나눗셈과 같은 특이 원자 함수의 안정적 훈련을 가능하게 함으로써 데이터로부터 해석 가능하고 간결한 수학적 방정식을 학습하는 기호 회귀 프레임워크 iEQL을 소개한다. 이 방법은 임베디드 시스템에 적합한 모델 단순성과 함께 높은 예측 성능을 달성한다.

ABSTRACT

Distilling data into compact and interpretable analytic equations is one of the goals of science. Instead, contemporary supervised machine learning methods mostly produce unstructured and dense maps from input to output. Particularly in deep learning, this property is owed to the generic nature of simple standard link functions. To learn equations rather than maps, standard non-linearities can be replaced with structured building blocks of atomic functions. However, without strong priors on sparsity and structure, representational complexity and numerical conditioning limit this direct approach. To scale to realistic settings in science and engineering, we propose an informed equation learning system. It provides a way to incorporate expert knowledge about what are permitted or prohibited equation components, as well as a domain-dependent structured sparsity prior. Our system then utilizes a robust method to learn equations with atomic functions exhibiting singularities, as e.g. logarithm and division. We demonstrate several artificial and real-world experiments from the engineering domain, in which our system learns interpretable models of high predictive power.

연구 동기 및 목표

• 데이터로부터 해석 가능하고 간결한 수학적 방정식을 학습하는 기호 회귀 시스템을 개발하여, 비구조적 딥러닝 맵을 넘어서는 것.
• 모든 은닉 레이어에서 특이성이 있는 원자 함수(예: 로그, 나눗셈)를 사용하는 신경망의 안정적 훈련을 가능하게 하여 수치적 불안정성을 해결하는 것.
• 사용자가 정의한 각 원자 단위의 복잡도 비용을 통해 허용되거나 금지되는 기능 성분에 대한 전문 지식을 통합하는 것.
• 분야에 특화된 제약 조건에 기반하여 특정 기능 조합을 선호하는 융통성 있고 구조화된 희박성 정규화를 제공하는 것.
• 합성 벤치마크와 실제 공학 문제에 대해 방법을 평가하여, 높은 예측 성능와 모델의 해석 가능성 모두를 입증하는 것.

제안 방법

• 표준 신경망 활성화 함수를 대체하기 위해 원자 함수 집합(예: sin, log, 나눗셈, 곱셈)을 사용하고, 이를 구성하기 위한 미분 가능한 아키텍처를 도입한다.
• 로그 및 나눗셈과 같은 특이 함수의 최적화를 안정화하기 위해 학습 가능한 파라미터를 도입하여 도메인 위반과 기울기 폭발을 방지한다.
• 전문 지식은 각 원자 함수에 개별적인 복잡도 비용을 할당하는 일반화된 희박성 정규화를 통해 인코딩되며, 사용자 정의 선호도를 가능하게 한다.
• 예측 정확도와 모델 복잡도를 균형 잡는 다목적 최적화 전략을 사용하며, V-int-S 또는 검증 성능과 같은 기준을 통해 선택을 수행한다.
• 아키텍처는 전역적 및 도메인 특화 사전 지식을 모두 지원한다. 예를 들어 엔진 토크 실험에서는 모터 특화 복잡도 요소를 적용하여 최종 방정식의 기능 조합을 설계한다.
• 모델 선택은 파레토 최적 해석 분석과 검증 기반 기준을 통해 수행되어 계산 효율성과 해석 가능성 모두를 확보한다.

실험 결과

연구 질문

• RQ1 신경망의 모든 은닉 레이어에서 로그나 나눗셈과 같은 특이 원자 함수를 사용할 때 기호 회귀가 안정적으로 수행될 수 있는가?
• RQ2 허용되거나 금지되는 기능 성분에 대한 전문 지식을 신경-기호 방정식 학습 프레임워크에 체계적으로 통합하는 방법은 무엇인가?
• RQ3 구조적 희박성 사전 지식은 실제 공학 응용 분야에서 학습된 방정식의 해석 가능성과 예측 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 도메인 특화 사전 지식을 통합하면 제약 조건이 없는 기호 회귀에 비해 더 간결하고 의미 있으며 일반화 능력이 뛰어난 방정식을 도출할 수 있는가?
• RQ5 제안된 방법은 정확도와 모델 단순성 측면에서 기존 최첨단 기법(예: 가우시안 프로세스, 유전 알고리즘)에 비해 우수하거나 동등한 성능을 낼 수 있는가?

주요 결과

• iEQL 프레임워크는 모든 레이어에서 특이 함수인 로그와 나눗셈을 포함한 방정식을 성공적으로 학습하였으며, 학습 가능한 파arameter화를 통해 안정적인 최적화를 달성했다.
• 실제 연소 엔진 토크 데이터셋에서 iEQL는 가우시안 프로세스와 비교해 테스트 RMSE가 유사하거나 뛰어나며, 모델 파라미터 수가 170~470개에 불과한 것으로 나타났다.
• 모터 특화 사전 지식을 적용한 iEQL 모델은 주로 다항식 구조를 띠며 고차수의 형태를 띠었고, 로그나余코사인과 같은 비선형 단위의 의존도를 줄였다.
• 도메인 특화 복잡도 요소를 적용함으로써 비선형 단위(예: 로그, 여코사인, 지수)의 사용 비율이 30~50% 감소했고, 곱셈 및 x² 항의 비율이 증가했다.
• 더 높은 표현 능력을 지녔음에도 불구하고, iEQL는 전용 나눗셈 처리를 위한 EQL÷ 아키텍처와 경쟁 가능한 성능을 보였으며, 강력한 일반화 능력과 안정성을 입증했다.
• V-int-S 기준으로 선택된 방정식들은 해석 가능성이 매우 높고 계산 효율적이었으며, 유의미한 잔차 분포 이질성이 없었고, 이는 모델 신뢰성의 확인을 의미한다.