[논문 리뷰] Extrapolation and learning equations

Georg Martius, Christoph H. Lampert|arXiv (Cornell University)|2016. 10. 10.

Neural Networks and Applications인용 수 18

한 줄 요약

이 논문은 데이터에서 해석 가능한 분석식을 학습하고, 희소성 정규화와 기울기 기반 학습을 통해 예측되지 않은 도메인으로의 일반화를 가능하게 하는 미분 가능한 순방향 신경망인 Equation Learner(EQL)을 소개한다. 진짜 함수가 그의 가설 클래스 내에 있을 경우, EQL은 합성 및 실제 물리 시스템에서 높은 정확도로 외삽을 성공적으로 수행한다.

ABSTRACT

In classical machine learning, regression is treated as a black box process of identifying a suitable function from a hypothesis set without attempting to gain insight into the mechanism connecting inputs and outputs. In the natural sciences, however, finding an interpretable function for a phenomenon is the prime goal as it allows to understand and generalize results. This paper proposes a novel type of function learning network, called equation learner (EQL), that can learn analytical expressions and is able to extrapolate to unseen domains. It is implemented as an end-to-end differentiable feed-forward network and allows for efficient gradient based training. Due to sparsity regularization concise interpretable expressions can be obtained. Often the true underlying source expression is identified.

연구 동기 및 목표

• 고전적 기계학습의 학습 데이터 분포를 초월한 외삽 능력의 한계를 해결하기 위해, 분석적 방정식에 의해 지배되는 물리 시스템에서 특히 효과적으로 작동하도록 한다.
• 블랙박스 근사가 아닌, 해석 가능하고 간결한 수학적 표현을 생성하는 함수 학습 프레임워크를 개발한다.
• 외부 데이터에 대한 강건한 일반화를 가능하게 하기 위해, 외삽을 위해 특화된 모델을 설계함으로써, 로봇 공학 및 제어 시스템의 안전성에 핵심적인 영향을 미친다.
• 검증 오차와 희소성의 다목적 최적화를 기반으로 한 새로운 모델 선택 전략을 도입하여, 일반화 가능하고 해석 가능한 수식을 우선시한다.
• 종단 간 미분 가능한 아키텍처와 구조화된 비선형 유닛을 통해, 제한적이거나 노이즈가 있는 관측치가 있을 경우에도 진짜 물리 법칙을 데이터로부터 회복할 수 있음을 입증한다.

제안 방법

• EQL은 선형 변환 후 전용 비선형 유닛을 갖는 다층 순방향 신경망이다: 단항 함수(항등함수, 사인,余현, 시그모이드)와 이항 곱셈 유닛.
• 네트워크 아키텍처는 물리 방정식에서 흔히 볼 수 있는 일반적인 분석 형태(삼각함수 및 다항식 항 등)를 고정된 미분 가능한 기본 함수 집합을 통해 표현하도록 설계되었다.
• 희소성은 가중치에 대한 L1 정규화와 L0 노름 제약 조건을 통해 강제로 구현되며, 불필요한 항을 제거함으로써 간결하고 해석 가능한 수식을 도모한다.
• 전체 네트워크는 종단 간 미분 가능하며, 표준 최적화 기법을 사용한 백프로파게이션과 효율적인 학습이 가능하다.
• 모델 선택은 검증 데이터에서의 경험적 오차와 학습된 수식의 희소성 사이의 균형을 고려하는 다목적 기준을 사용하여, 외삽 성능을 우선시한다.
• 방법은 진짜 방정식이 알려진 합성 데이터와 실제 물리 시스템(로봇 역학 및 X선 전이 에너지 포함)의 데이터에서 평가되었다.

실험 결과

연구 질문

• RQ1 학습 분포를 초월해 일반화할 수 있는 해석 가능한 분석식을 학습할 수 있는 신경망 아키텍처를 설계할 수 있는가?
• RQ2 특정한 미분 가능한 기본 함수(예: 사인, 여현, 시그모이드, 곱셈)의 포함이 모델이 진짜 물리적 방정식을 회복하는 데 어떤 영향을 미치는가?
• RQ3 희소성 정규화와 L0 노름 제약 조건이 학습된 수식의 해석 가능성과 외삽 성능을 얼마나 향상시키는가?
• RQ4 검증 오차와 희소성에 기반한 제안된 모델 선택 전략은 일반화 능력이 뛰어난 모델을 선택하는 데 있어 기존 방법과 비교하여 어떻게 다른가?
• RQ5 진짜 함수가 네트워크 아키텍처의 가설 클래스 외부에 있을 경우, 이 방법의 한계는 무엇인가?

주요 결과

• 진짜 함수가 가설 클래스 내에 있을 경우, EQL은 합성 실험에서 진짜 기반 방정식을 성공적으로 복원하며 강력한 외삽 성능을 보였다.
• 유체역학적 비례 함수(나눗셈)를 포함하는 카트-펜듈럼 시스템의 경우, EQL과 MLP 모두 외삽 성능이 열악했으며, EQL은 먼 외삽 세트에서 테스트 오차 0.180을 기록했다.
• 카트-펜듈럼 시스템에서, EQL은 가까운 외삽에서는 MLP(0.0184 대 0.0621)보다 성능이 떨어지지 않았지만, 먼 외삽에서는 둘 다 심각하게 실패했으며, 이는 모델 클래스의 부족함을 시사한다.
• X선 전이 에너지 데이터의 경우, EQL은 알려진 물리적 관계와 일치하는 간결하고 해석 가능한 수식을 학습하여 실제 적용 가능성을 입증했다.
• L1 정규화와 L0 노름 제약 조건의 사용은 희소하고 편향 없는 가중치 추정을 가능하게 하여, 진짜 기능 형태를 반영하는 간결하고 해석 가능한 수식을 도출했다.
• 진짜 함수가 네트워크의 가설 클래스 내에 표현되지 않을 경우, 이 방법은 정확한 방정식을 회복하지 못하며, 이는 더 넓은 적용 가능성을 확보하기 위해 기본 함수 집합을 확장하는 것이 중요함을 시사한다.