[논문 리뷰] Identification of Outlying Observations with Quantile Regression for Censored Data

Soo‐Heang Eo, Seung‐Mo Hong외 1명|arXiv (Cornell University)|2014. 04. 30.

Advanced Statistical Methods and Models참고 문헌 1인용 수 5

한 줄 요약

이 논문은 우측으로 캐논된 생존 데이터를 위한 censored quantile regression를 사용하여 잔차 기반, 박스플롯, 스코링 세 가지 이상치 탐지 알고리즘을 제안한다. 스코링 알고리즘은 이상치 크기 점수를 제공하고 시각적 임계값 선택을 가능하게 하여 민감도와 특이도 사이의 균형이 뛰어나므로 기본값으로 권장되며, 이 방법들은 CRAN에 공개된 R 패키지 OutlierDC에 구현되어 있다.

ABSTRACT

Outlying observations, which significantly deviate from other measurements, may distort the conclusions of data analysis. Therefore, identifying outliers is one of the important problems that should be solved to obtain reliable results. While there are many statistical outlier detection algorithms and software programs for uncensored data, few are available for censored data. In this article, we propose three outlier detection algorithms based on censored quantile regression, two of which are modified versions of existing algorithms for uncensored or censored data, while the third is a newly developed algorithm to overcome the demerits of previous approaches. The performance of the three algorithms was investigated in simulation studies. In addition, real data from SEER database, which contains a variety of data sets related to various cancers, is illustrated to show the usefulness of our methodology. The algorithms are implemented into an R package OutlierDC which can be conveniently employed in the \proglang{R} environment and freely obtained from CRAN.

연구 동기 및 목표

• 의료 및 역학 연구에서 캐논된 생존 데이터에 대한 강건한 이상치 탐지 방법의 부족을 해결하기 위해.
• 생존 분석에서 흔한 비정규 분포와 캐논화 상황에서도 효과적인 알고리즘 개발을 위해.
• 해석 가능한 이상치 크기 점수를 제공하고, 유연하고 시각화 가능한 이상치 탐지 방법을 제공하기 위해.
• 실제 데이터 분석에서 실용적으로 사용할 수 있도록 접근성이 높은 R 패키지에 방법을 구현하기 위해.
• 결과를 왜곡하는 영향력 있는 관측치를 식별하여 생존 데이터 분석의 신뢰성을 향상시키기 위해.

제안 방법

• 생존 시간의 조건부 분위수를 모델링하기 위해 캐논된 분위수 회귀를 사용하여 이상치에 대해 강건한 성질을 확보한다.
• 잔차 기반 탐지 방법을 적응적으로 적용하기 위해, 캐논된 분위수 회귀에서 잔차를 계산하고 척도 조정된 임계값을 적용한다.
• 잔차의 사분위율 범위를 사용하여 수정된 박스플롯 규칙을 적용하여 극단적 관측치를 식별한다.
• 각 관측치에 대해 이상치 크기 점수를 계산하는 스코링 알고리즘을 도입하여 시각적 임계값 선택을 가능하게 한다.
• 지역적으로 가중된 캐논된 분위수 회귀(Wang, 2008)를 데이터 피팅을 위한 기초 모델로 사용한다.
• 모든 알고리즘은 R 패키지 OutlierDC에 구현되었으며, 민감도와 특이도 사이의 최적 균형을 확보하기 위해 스코링 방법을 기본값으로 설정한다.

실험 결과

연구 질문

• RQ1 기존 방법이 비정규성과 캐논화로 인해 실패하는 캐논된 생존 데이터에서 이상치 탐지가 효과적으로 수행될 수 있는 방법은 무엇인가?
• RQ2 잔차 기반, 박스플롯, 스코링 중 어떤 이상치 탐지 알고리즘이 캐논된 데이터에서 민감도와 특이도 사이의 최적 균형을 제공하는가?
• RQ3 이상치 크기의 정도를 수량화하는 스코링 기반 접근 방식은 고정된 기준보다 임계값 선택을 향상시킬 수 있는가?
• RQ4 제안된 알고리즘은 시뮬레이션 연구와 SEER 데이터베이스의 실제 암 생존 데이터에서 어떻게 성능을 발휘하는가?
• RQ5 캐논된 분위수 회귀의 사용이 영향력 있는 관측치 식별에서 강건성을 얼마나 향상시키는가?

주요 결과

• 스코링 알고리즘이 시뮬레이션 연구에서 민감도와 특이도의 균형을 잘 유지하여 잔차 기반 및 박스플롯 방법보다 뛰어난 성능을 보였다.
• 잔차 기반 알고리즘은 높은 민감도 덕분에 더 많은 이상치를 탐지했지만, 특이도가 낮아지는 단점이 있었다.
• 박스플롯 알고리즘은 k_b = 1.5일 때 오직 하나의 이상치만 탐지하여 민감도는 낮지만 특이도는 높았다.
• 임계값 k_s = 4.0을 사용한 스코링 알고리즘은 두 개의 이상치(327번째 및 346번째 관측치)를 탐지했으며, 다른 방법과 일관된 결과를 보였다.
• 346번째 관측치는 세 알고리즘 모두에서 이상치로 식별되어 탐지의 강건성을 입증했다.
• OutlierDC R 패키지는 모든 세 가지 알고리즘을 성공적으로 구현했으며, 실용적 사용성을 고려해 스코링 방법을 기본값으로 설정했다.