[논문 리뷰] Deep Learning for Functional Data Analysis with Adaptive Basis Layers

Junwen Yao, Jonas Mueller외 1명|arXiv (Cornell University)|2021. 06. 19.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 고정 기저 함수를 학습 가능한 적응형 기저로 대체하는 딥러닝 프레임워크인 적응형 기능 신경망(AdaFNN)을 제안한다. 이는 마이크로-신경망을 통해 구현된 적응형 기저를 사용하며, 예측 작업에 맞게 기저 함수를 엔드 투 엔드로 학습함으로써, 낮은 차원성과 향상된 일반화 능력을 바탕으로 기능 데이터 분류 및 회귀 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Despite their widespread success, the application of deep neural networks to functional data remains scarce today. The infinite dimensionality of functional data means standard learning algorithms can be applied only after appropriate dimension reduction, typically achieved via basis expansions. Currently, these bases are chosen a priori without the information for the task at hand and thus may not be effective for the designated task. We instead propose to adaptively learn these bases in an end-to-end fashion. We introduce neural networks that employ a new Basis Layer whose hidden units are each basis functions themselves implemented as a micro neural network. Our architecture learns to apply parsimonious dimension reduction to functional inputs that focuses only on information relevant to the target rather than irrelevant variation in the input function. Across numerous classification/regression tasks with functional data, our method empirically outperforms other types of neural networks, and we prove that our approach is statistically consistent with low generalization error. Code is available at: \url{https://github.com/jwyyy/AdaFNN}.

연구 동기 및 목표

• 사전에 지정된 비적응형 기저 함수에 의존하는 전통적인 기능 데이터 분석(FDA) 방법의 한계를 해결한다.
• 하류 예측 작업을 최적화하지 않는 두 단계 파ip라인(예: FPCA 또는 B-spline 기저 + 신경망)의 비효율성을 극복한다.
• 차원 감소와 예측을 동시에 학습하는 신경망 아키텍처를 개발하여 반응 변수에 맞게 기저 함수를 적응시킨다.
• 감독 학습을 위한 관련 기능적 특징을 학습하는 새로운 기저 레이어를 통해 기능 신경망의 엔드 투 엔드 학습을 가능하게 한다.
• 제안된 아키텍처에 대한 이론적 일致성과 일반화 오차 경계를 수립한다.

제안 방법

• 각 은닉 유닛이 소형 학습 가능한 신경망(마이크로-NN)으로 구현된 새로운 기저 레이어(BL)를 도입한다.
• 기저 레이어의 출력을 입력 함수 $X(t)$의 저차원, 작업별 표현으로 사용하여 반응 $Y$와 관련된 변동성만 포착한다.
• 기저 함수를 통해 기울기가 흐르도록 백프로파게이션을 통해 전체 네트워크를 엔드 투 엔드로 학습시켜, 예측 목표에 맞게 기저 함수를 적응시킨다.
• 정규화 기법 적용: $L_1$ 페널티를 통한 흐문성 확보 및 기저의 직교성 정규화를 통해 모델의 해석 가능성과 일반화 능력을 향상시킨다.
• 비균일하게 샘플링된 데이터에도 적용 가능한 수치적 적분을 통해 가중치 $\omega_j$를 사용해 함수와 기저 함수 간 내적을 계산한다.
• 벡터 값 기능 데이터, 다중 기능 공변량, 보조 공변량을 연결 또는 별도의 기저 레이어를 통해 처리할 수 있도록 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드로 학습된 적응형 기저 함수는 고정 기저 함수에 비해 기능 데이터 분석에서 예측 성능을 향상시키는가?
• RQ2 반응 변수와 관련된 변동성만 집중적으로 학습하는 기저를 학습하는 것이 일반화 능력 향상과 낮은 모델 복잡도를 이끌어내는가?
• RQ3 다양한 기능 데이터 작업에서 표준 기준 모델(FPCA + NN 및 B-spline + NN)과 비교해 본다면, 제안된 AdaFNN 아키텍처는 어떻게 성능을 내는가?
• RQ4 직교성 및 $L_1$ 정규화의 영향은 학습된 기능적 표현의 품질과 해석 가능성에 어떤 영향을 미치는가?
• RQ5 희소 관측 또는 비균일하게 샘플링된 기능 데이터에 대해 적응형 기저 레이어를 효과적으로 적용할 수 있는가?

주요 결과

• AdaFNN는 실세계 데이터셋에서의 분류 및 회귀를 포함한 9개의 기능 데이터 작업 전반에서 모든 기준 모델(FPCA + NN 및 B-spline + NN)을 압도적으로 뛰어넘는 성능을 보였다.
• 기준 모델보다 더 적은 기저 함수를 사용하면서도 더 높은 정확도를 달성하여 샘플 효율성과 단순성 향상을 입증했다.
• $\lambda_1 > 0$일 경우 $L_1$ 페널티가 여러 데이터셋에서 성능 향상을 이끌어내어, 흐문성의 증가가 표현 품질 향상에 기여함을 시사한다.
• 직교 정규화는 고차원 기능 입력이 있는 작업에서 특히 성능 향상에 기여하며, 상호상관이 적고 정보가 풍부한 기저를 촉진한다.
• 정규화를 적용한 AdaFNN가 항상 최상의 성능을 기록하여, 적절한 인덕티브 바이어스를 가진 적응형 기저 학습이 더 뛰어난 일반화를 이끌어낸다는 점을 입증했다.
• AdaFNN는 비균일하게 샘플링된 데이터에 대해 잘 일반화되지만, 희소 관측 데이터에 대해서는 여전히 도전적이며, 마이크로-NN 내에서 더 강한 인덕티브 바이어스가 필요할 수 있다.