[논문 리뷰] Boosting Functional Regression Models with FDboost

Sarah Brockhaus, David Rügamer외 1명|arXiv (Cornell University)|2017. 05. 30.

Statistical Methods and Inference참고 문헌 59인용 수 11

한 줄 요약

이 논문은 모델 기반 부스팅을 통해 유연하고 고차원적인 기능적 회귀 모델링을 가능하게 하는 R 패키지 FDboost를 소개한다. 이는 스칼라-기반 기능, 기능-기반 스칼라, 기능-기반 기능 회귀를 평균, 분위수, GAMLSS 모델과 함께 지원한다. 실제 연료 분광법 및 생전기신호 분석 분야의 적용 사례를 통해 성능을 입증하며, 요인별 역사적 효과 및 리샘플링을 통한 강건한 튜닝 기능을 포함한 고급 기능을 제공한다.

ABSTRACT

The R add-on package FDboost is a flexible toolbox for the estimation of functional regression models by model-based boosting. It provides the possibility to fit regression models for scalar and functional response with effects of scalar as well as functional covariates, i.e., scalar-on-function, function-on-scalar and function-on-function regression models. In addition to mean regression, quantile regression models as well as generalized additive models for location scale and shape can be fitted with FDboost. Furthermore, boosting can be used in high-dimensional data settings with more covariates than observations. We provide a hands-on tutorial on model fitting and tuning, including the visualization of results. The methods for scalar-on-function regression are illustrated with spectrometric data of fossil fuels and those for functional response regression with a data set including bioelectrical signals for emotional episodes.

연구 동기 및 목표

• 모델 기반 부스팅을 사용하여 다양한 기능적 회귀 모델을 적합하기 위한 포괄적이고 사용자 友好的인 R 패키지 개발.
• 기능적 데이터의 고차원성 문제를 해결하고 기능적 회귀에서 변수 선택과 수축을 가능하게 하는 것.
• 복잡한 기능적 반응 모델, 예를 들어 역사적 효과와 상호작용 구조를 다룰 수 있도록 부스팅을 확장하는 것.
• 부트스트랩 및 안정성 선택을 통한 모델 튜닝, 시각화 및 불확실성 정량화를 위한 실용적 도구 제공.

제안 방법

• 손실 함수를 최소화하여 단순 기저 학습기들을 반복적으로 조합함으로써 기능적 회귀 모델을 추정하기 위해 모델 기반 부스팅을 사용한다.
• 스칼라 및 기능적 예측 변수를 위한 기저 학습기는 적절한 식별성 제약 조건과 스무딩 페널티를 함께 구현한다.
• 다른 손실 함수를 최소화함으로써 평균 회귀, 분위수 회귀, GAMLSS를 지원하여 반응 분포의 파라미터를 탄력적으로 모델링할 수 있다.
• k-겹 교차검증 및 한 명의 주체를 제외하는 방식과 같은 리샘플링 기법을 사용하여 모델 튜닝 및 최적의 정지 반복 수를 추정한다.
• hmatrix 객체는 시간 제한적 적분을 통해 과거 기능적 예측 변수를 현재 반응에 연결함으로써 역사적 효과를 모델링할 수 있도록 한다.
• 행별 텐서곱 연산자 %X%와 시간에 따라 달라지는 효과를 위한 이방향 페널티(%)를 사용하여 요인별 역사적 효과를 모델링한다.

실험 결과

연구 질문

• RQ1 모델 기반 부스팅은 고차원 설정에서 스칼라 및 기능적 반응을 갖는 기능적 회귀 모델을 효과적으로 적합하는 데 어떻게 적용될 수 있는가?
• RQ2 FDboost는 스펙트럼 데이터로부터 열량을 예측하는 것과 같이 기능적 예측 변수로부터 스칼라 결과를 예측하는 데 있어 성능이 어떠한가?
• RQ3 FDboost는 실험 조건에 의해 영향을 받는 EMG 신호와 같이 시간에 따라 변화하는 효과, 상호작용 및 주체별 효과를 포함한 복잡한 기능적 반응 데이터를 어떻게 모델링할 수 있는가?
• RQ4 리샘플링 기법을 사용하여 기능적 회귀에서 최적의 모델 튜닝 및 정지 반복 수를 어떻게 확보할 수 있는가?
• RQ5 FDboost는 기능적 데이터 분석에서 요인별 역사적 효과 및 이방향 스무딩을 지원함으로써 얼마나 높은 수준의 고급 모델링 기능을 제공할 수 있는가?

주요 결과

• FDboost는 자동차 연료의 분광 데이터를 사용하여 스칼라-기반 기능 회귀를 성공적으로 모델링하였으며, 리샘플링을 통해 200번의 부스팅 반복 후 최적의 정지를 도달했다.
• 패키지는 생전기신호 데이터에 대해 기능-기반 스칼라 및 기능-기반 기능 회귀 모델을 적합할 수 있으며, 복잡한 상호작용 및 역사적 효과를 포함한다.
• 세 가지 방향의 상호작용과 주체별 효과를 포함한 복잡한 모델을 약 75분 내에 15GB의 메모리로 적합시켰으며, 확장성의 가능성을 입증했다.
• hmatrix와 %X% 연산자를 사용함으로써, 기능적 회귀에서 요인별 역사적 효과를 처음으로 구현하였으며, 이는 새로운 기능이다.
• 한 명의 주체를 제외하는 교차검증을 통한 리샘플링은 안정적인 튜닝 결과를 제공하였으며, 격자 탐색 후 최적의 정지 반복 수는 200으로 추정되었다.
• GAMLSS를 통한 모든 분포 파라미터의 탄력적 모델링을 지원하며, 부트스트랩 및 안정성 선택을 통해 불확실성 정량화를 가능하게 한다.