[논문 리뷰] Non-linear Functional Modeling using Neural Networks

Aniruddha Rajendra Rao, Matthew Reimherr|arXiv (Cornell University)|2021. 04. 19.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 스칼라 반응 변수를 갖는 비선형 기능적 회귀를 위한 두 가지 새로운 신경망 프레임워크—기능적 직접 신경망(FDNN)과 기능적 기저 신경망(FBNN)—를 소개한다. 연속적인 은닉층과 기능적 데이터 구조를 활용함으로써, 복잡한 비선형 설정에서 기존 방법보다 뛰어난 정확도를 보이며, 분광학적, 성장 곡선, 발음기호 데이터셋과 같은 실제 데이터에서 뛰어난 성능을 입증한다.

ABSTRACT

We introduce a new class of non-linear models for functional data based on neural networks. Deep learning has been very successful in non-linear modeling, but there has been little work done in the functional data setting. We propose two variations of our framework: a functional neural network with continuous hidden layers, called the Functional Direct Neural Network (FDNN), and a second version that utilizes basis expansions and continuous hidden layers, called the Functional Basis Neural Network (FBNN). Both are designed explicitly to exploit the structure inherent in functional data. To fit these models we derive a functional gradient based optimization algorithm. The effectiveness of the proposed methods in handling complex functional models is demonstrated by comprehensive simulation studies and real data examples.

연구 동기 및 목표

• 기능적 데이터 분석에 깊이 있는 학습 응용이 부족한 문제를 해결하기 위해, 특히 비선형 스칼라-온-기능 회귀에 대해.
• CAM, 단일/다중 인덱스 모델, 이차 모델과 같은 기존 모델의 제한점을 극복하기 위해, 제약이 있는 구조를 가정하고 복잡한 상호작용과 비선형성을 포착하지 못하는 문제를 해결하기 위해.
• 고정된 기저 전개나 엄격한 파rametric 형태를 가정하지 않고, 기능적 데이터의 연속적 성질을 활용하는 유연한 딥 러닝 기반 프레임워크를 개발하기 위해.
• 시간적 의존성이 복잡하고 스칼라 반응 변수와의 비선형 관계를 갖는 기능적 예측 변수를 효과적으로 모델링할 수 있도록 하기 위해.
• 연구자들이 기능적 데이터에 딥 러닝을 체계적이고 실용적으로 적용할 수 있도록 하는 접근 방식을 제공하기 위해, 특히 샘플링이 불규칙하거나 밀도가 높은 경우에도 적용 가능하도록 하기 위해.

제안 방법

• 기저 전개 없이 기능적 예측 변수를 직접 모델링할 수 있도록 연속적인 은닉층과 연속적인 뉴런을 사용하는 기능적 직접 신경망(FDNN)을 제안한다.
• 기저 전개(예: B-스플라인)와 연속적인 은닉층을 조합하여 더 높은 유연성을 확보하고, 불규칙하게 샘플링된 데이터를 처리할 수 있도록 하는 기능적 기저 신경망(FBNN)을 도입한다.
• 기능적 데이터의 무한차원 성격을 고려하여, 기능적 경사 기반 최적화 알고리즘을 설계하여 모델을 훈련시킨다.
• 기능적 예측 변수와 스칼라 반응 변수 간의 비선형 관계를 모델링하기 위해 연속적인 은닉층에 활성화 함수를 사용한다.
• 특히 고차원 기능적 공간에서 과적합을 방지하기 위해 정규화 및 튜닝 전략을 통합한다.
• 밀도가 높거나 불규칙하게 샘플링된 기능적 데이터 모두에 모델을 적용하며, FBNN의 성능은 기저 선택과 보간 품질에 의존한다.

Figure 1: The architecture of a FNN with two functional neurons in the first layer and two numerical neurons in the second layer.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 스칼라 반응 변수를 갖는 기능적 데이터에서 비선형 관계를 효과적으로 적응시킬 수 있는가?
• RQ2 FDNN과 FBNN는 FLM, CAM, 단일 인덱스 모델, 이차 모델과 같은 전통적 기능적 회귀 모델보다 복잡한 비선형 패턴과 상호작용을 얼마나 잘 포착하는가?
• RQ3 FDNN이 FBNN를 능가하는 경우와 그 반대의 경우는 어떤 시나리오에서 발생하는가, 특히 데이터의 밀도와 샘플링의 불규칙성과 관련하여?
• RQ4 이러한 모델은 복잡하고 알려지지 않은 기저 구조를 갖는 실제 기능적 데이터에 얼마나 잘 일반화되는가?
• RQ5 기능적 딥 러닝 모델은 최소한의 튜닝으로도 다양한 데이터 유형에서 강력한 성능을 보이며 실용적으로 체계적으로 적용될 수 있는가?

주요 결과

• FDNN과 FBNN는 분광학적 지방 함량 예측 작업에서 FLM, CAM, 표준 신경망과 같은 기존 모델보다 뚜렷이 뛰어나며, 각각 테스트 RMSE가 0.822와 1.197을 기록했다.
• 버클리 성장 곡선 데이터에서 FDNN과 FBNN는 모두 분류 오차 0.100을 기록하여, FLM(0.150)과 CAM(0.150)을 능가하며 성별 분류에서 뛰어난 성능을 보였다.
• 발음기호 분류 작업에서는 FDNN와 FBNN가 각각 0.156과 0.160의 최저 분류 오차를 기록하여, FLM(0.187)과 CAM(0.231)보다 뛰어난 일반화 능력을 보였다.
• 기존 모델이 구조적 가정으로 실패하는 복잡한 비선형 설정에서 모델들은 뛰어난 강건성을 보이며, 얕은 아키텍처에서도 뛰어난 성능을 발휘했다.
• FDNN는 직접 모델링 방식과 낮은 튜닝 요구 사항으로 인해 밀도가 높고 규칙적으로 샘플링된 데이터에서 가장 우수한 성능을 보였고, FBNN는 기저 선택과 보간 품질의 영향을 받지만 불규칙한 데이터에 대해 더 큰 유연성을 제공했다.
• 기능적 경사 기반 최적화 알고리즘이 기능적 데이터에서 모델을 성공적으로 훈련시켜 다양한 데이터셋에서 수렴성과 안정적인 성능을 달성했다.

Figure 2: General architecture for our proposed approach with multiple continuous hidden layers.