[논문 리뷰] deepregression: a Flexible Neural Network Framework for Semi-Structured Deep Distributional Regression

David Rügamer, Chris Kolb외 12명|arXiv (Cornell University)|2021. 04. 06.

Model Reduction and Neural Networks인용 수 7

한 줄 요약

이 논문은 반구조적 딥 분포 회귀( semi-structured deep distributional regression, SDDR)를 구현하는 R 패키지인 deepregression을 소개한다. 이는 추가 예측 변수와 딥 신경망을 조합하여 전체 조건부 분포를 스케일러블하고 해석 가능한 방식으로 모델링할 수 있도록 한다. 이 프레임워크는 모듈러한 신경망 아키텍처, 식별성 문제를 해결하기 위한 수직화 셀(orthogonalization cells), 그리고 mgcv를 영감으로 삼은 공식 기반 인터페이스를 사용하며, 최신 예측 성능를 달성하면서도 통계적 해석 가능성도 유지한다.

ABSTRACT

In this paper we describe the implementation of semi-structured deep distributional regression, a flexible framework to learn conditional distributions based on the combination of additive regression models and deep networks. Our implementation encompasses (1) a modular neural network building system based on the deep learning library \pkg{TensorFlow} for the fusion of various statistical and deep learning approaches, (2) an orthogonalization cell to allow for an interpretable combination of different subnetworks, as well as (3) pre-processing steps necessary to set up such models. The software package allows to define models in a user-friendly manner via a formula interface that is inspired by classical statistical model frameworks such as \pkg{mgcv}. The packages' modular design and functionality provides a unique resource for both scalable estimation of complex statistical models and the combination of approaches from deep learning and statistics. This allows for state-of-the-art predictive performance while simultaneously retaining the indispensable interpretability of classical statistical models.

연구 동기 및 목표

• 고전적 평균 회귀의 이질분산성 및 복잡한 분포적 의존성을 포착하는 데서 비롯되는 한계를 해결하기 위해.
• 딥 러닝의 예측 능력과 추가 모델의 해석 가능성의 조합을 가능하게 하는 확장 가능한 프레임워크를 개발하기 위해.
• 단순히 평균을 넘어서 전체 조건부 분포를 모델링하기 위해, 비모수적, 반모수적, 모수적 접근법을 가능하게 하기 위해.
• 혼합된 추가 예측 변수와 딥 네트워크 예측 변수 간에 겹치는 특징으로 인해 발생하는 식별성 문제를 수직화 셀을 통해 해결하기 위해.
• 통계적 및 딥 러닝 구성 요소를 통합하고 유연한 모델 사양을 지원하는 R에서 사용자 우아한 공식 기반 인터페이스를 제공하기 위해.

제안 방법

• 분포 모수(예: 위치, 척도, 형태)를 선형, 스무딩, 딥 신경망 구성 요소의 조합을 통해 추가 예측 변수로 모델링한다.
• 각 추가 예측 변수 ηₖ는 다음과 같이 정의된다: ηₖ = xᵀw + Σⱼ fₖ,ⱼ(z) + Σₗ dₖ,ₗ(u), 여기서 x는 선형 특징, z는 스무딩 특징, u는 딥 신경망의 입력이다.
• 서브넷 간에 겹치는 특징을 분리하여 개별 모델 구성 요소의 식별성과 해석 가능성을 보장하기 위해 수직화 셀을 사용한다.
• 공유 또는 별도의 가중치를 가진 모듈러하고 조합 가능한 신경망 아키텍처를 구축하기 위해 Keras/TensorFlow를 백엔드로 사용한다.
• 데이터 변환, 특징 스케일링, 모델 피팅을 처리하는 사전 처리 파이프라인을 통합하며, 정규화된 스퍼인 및 기저 전개 지원 기능을 포함한다.
• 딥 네트워크의 이전층에서 잠재 특징을 추출하고 mgcv를 재적합하여 비선형 효과의 불확실성을 정량화함으로써 최종층 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 구조적 추가 모델에 통합될 때, 예측 성능를 유지하면서도 모델의 해석 가능성을 유지할 수 있는가?
• RQ2 선형, 스무딩, 딥 네트워크 구성 요소 간에 겹치는 특징을 어떻게 분리하여 모델의 식별성을 보장할 수 있는가?
• RQ3 제안된 프레임워크는 전통적인 분포 모델에 비해 예측 성능를 얼마나 향상시키며, 해석 가능성은 유지하는가?
• RQ4 딥 신경망이 추가 예측 변수의 일부로 사용될 경우, 비선형 효과의 불확실성을 신뢰성 있게 정량화할 수 있는가?
• RQ5 공식 기반 인터페이스는 복잡한 분포 모델의 유연하고 재현 가능하며 사용자 友好的한 사양을 얼마나 효과적으로 가능하게 하는가?

주요 결과

• deepregression 패키지는 반구조적 딥 분포 회귀를 성공적으로 구현하여, 추가 모델과 딥 네트워크의 융합을 통해 전체 조건부 분포 모델링을 가능하게 한다.
• 수직화 셀은 서브넷 간에 겹치는 특징으로 인한 식별성 문제를 효과적으로 해결하여, 효과의 해석 가능한 분해를 가능하게 한다.
• 프레임워크는 다양한 모수적 분포를 지원하며, 연속형, 이산형, 혼합형, 다변량 반응까지 모델링할 수 있다.
• 추출된 잠재 특징에 대해 mgcv 재적합을 통한 최종층 추론은 비선형 효과에 대해 타당한 신뢰구간을 제공하지만, 고정된 딥 네트워크 가중치로 인해 분산이 약간 과소평가될 수 있다.
• 모듈러한 설계와 공식 인터페이스 덕분에, 단일 R 환경에서 복잡한 통계 및 딥 러닝 조합의 빠른 프로토타이핑과 재현 가능한 모델링이 가능하다.
• 사례 연구를 통해 애자일 가격 설정과 생존 분석에서, 전통적인 통계 모델의 해석 가능성은 유지하면서도 최신 예측 성능를 달성함을 입증하였다.