[논문 리뷰] Deep Learning for Quantile Regression: DeepQuantreg.

Yichen Jia, Jong‐Hyeon Jeong|arXiv (Cornell University)|2020. 07. 14.

Statistical Methods and Inference참고 문헌 21인용 수 6

한 줄 요약

이 논문은 우측으로 캐논된 생존 데이터에서 분位수 회귀를 위한 딥러닝 접근법인 DeepQuantreg를 소개한다. 이 방법은 체크 함수에 추정된 캐논 분포를 기반으로 한 역확률가중치를 통합하여, 전통적인 분위수 회귀보다 더 높은 예측 정확도를 보이며, 특히 비선형 패턴을 포착하는 데서 뛰어난 성능을 발휘한다. 이는 시뮬레이션과 유방암 유전자 서열 데이터셋을 통해 입증되었다.

ABSTRACT

The computational prediction algorithm of neural network, or deep learning, has drawn much attention recently in statistics as well as in image recognition and natural language processing. Particularly in statistical application for censored survival data, the loss function used for optimization has been mainly based on the partial likelihood from Cox's model and its variations to utilize existing neural network library such as Keras, which was built upon the open source library of TensorFlow. This paper presents a novel application of the neural network to the quantile regression for survival data with right censoring, which is adjusted by the inverse of the estimated censoring distribution in the check function. The main purpose of this work is to show that the deep learning method could be flexible enough to predict nonlinear patterns more accurately compared to the traditional method even in low-dimensional data, emphasizing on practicality of the method for censored survival data. Simulation studies were performed to generate nonlinear censored survival data and compare the deep learning method with the traditional quantile regression method in terms of prediction accuracy. The proposed method is illustrated with a publicly available breast cancer data set with gene signatures. The source code is freely available at this https URL.

연구 동기 및 목표

• 우측으로 캐논된 데이터를 가진 생존 분석에서 유연한 딥러닝 프레임워크를 개발하기 위해.
• 기존의 분위수 회귀가 저차원 생존 데이터에서 비선형 관계를 모델링하는 데 한계가 있음을 해결하기 위해.
• 추정된 캐논 분포를 기반으로 한 역확률가중치를 딥러닝 최적화 과정에 통합하기 위해.
• 딥러닝이 전통적 방법보다 생존 데이터 분석에서 실용성과 예측 우수성을 보임을 입증하기 위해.

제안 방법

• 추정된 캐논 분포를 기반으로 한 역확률가중치를 체크 함수에 적용하여 신경망을 분위수 회귀에 적응시킨다.
• TensorFlow 기반의 Keras 라이브러리를 사용하여 캐논된 데이터를 위한 커스텀 손실 함수를 구현한 딥러닝 모델을 구현한다.
• 캐논 분포의 추정된 생존 함수의 역수로 조정된 체크 함수를 사용하여 우측 캐논을 처리한다.
• 수정된 손실 함수를 기반으로 확률적 경사 하강법을 사용하여 조건부 분위수를 추정한다.
• 복잡한 비선형 관계를 포착하기 위해 다중 은닉층을 가진 순환 신경망 아키텍처를 사용한다.
• 시뮬레이션 연구와 공개된 유방암 유전자 서열 데이터셋을 활용한 실제 응용을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 캐논된 데이터에서 비선형 패턴을 가진 생존 결과를 예측할 때 기존의 분위수 회귀보다 우수한 성능을 보일 수 있는가?
• RQ2 캐논 분포를 기반으로 한 역확률가중치 통합이 분위수 회귀에서 딥러닝의 성능에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 저차원 생존 데이터 설정에서 얼마나 정확도를 유지하는가?
• RQ4 다양한 캐논 수준에서 딥러닝 접근법이 전통적 방법에 비해 예측 오차와 내성에 대해 어떻게 비교되는가?

주요 결과

• 시뮬레이션된 비선형 캐논된 생존 데이터에서 제안된 DeepQuantreg 방법은 기존의 분위수 회귀보다 유의미하게 낮은 예측 오차를 기록했다.
• DeepQuantreg는 기존 방법이 정확하게 모델링하지 못한 복잡한 비선형 관계를 생존 결과에서 뛰어나게 포착하는 데 성공했다.
• 역확률가중치 통합으로 인해 다양한 우측 캐논 수준에서 딥러닝 모델의 내성성이 향상되었다.
• 유방암 유전자 서열 데이터셋 분석에서 DeepQuantreg는 기존 접근법보다 더 정확한 분위수 예측을 제공했다.
• 저차원 설정에서도 강력한 성능을 유지하여 실제 생존 분석에 있어 실용적 유용성을 입증했다.
• DeepQuantreg의 소스 코드는 공개되어 있어 재현성과 생물의학 연구 분야에서의 광범위한 채택을 가능하게 한다.