[논문 리뷰] Accelerated and interpretable oblique random survival forests

Byron C. Jaeger, Sawyer Welden외 5명|arXiv (Cornell University)|2022. 08. 01.

Data Analysis with R인용 수 5

한 줄 요약

이 논문은 뉴턴-랩슨 스코링을 사용하여 계산 비용을 크게 줄인 가속화되고 해석 가능한 기울기 없는 랜덤 생존 숲(aorsf)을 소개한다. 이는 약 450배 빠른 속도 향상을 달성하면서도 높은 예측 정확도를 유지한다. 또한 계수의 부호를 뒤집는 방식으로 기여도를 평가하는 '부정 기반 변수 중요도'를 제안하여 시뮬레이션 전반에서 순열 및 SHAP 방법보다 우수한 예측 변수 식별 능력을 보였다.

ABSTRACT

The oblique random survival forest (RSF) is an ensemble supervised learning method for right-censored outcomes. Trees in the oblique RSF are grown using linear combinations of predictors, whereas in the standard RSF, a single predictor is used. Oblique RSF ensembles have high prediction accuracy, but assessing many linear combinations of predictors induces high computational overhead. In addition, few methods have been developed for estimation of variable importance (VI) with oblique RSFs. We introduce a method to increase computational efficiency of the oblique RSF and a method to estimate VI with the oblique RSF. Our computational approach uses Newton-Raphson scoring in each non-leaf node, We estimate VI by negating each coefficient used for a given predictor in linear combinations, and then computing the reduction in out-of-bag accuracy. In benchmarking experiments, we find our implementation of the oblique RSF is hundreds of times faster, with equivalent prediction accuracy, compared to existing software for oblique RSFs. We find in simulation studies that ‘negation VI’ discriminates between relevant and irrelevant numeric predictors more accurately than permutation VI, Shapley VI, and a technique to measure VI using analysis of variance. All oblique RSF methods in the current study are available in the aorsf R package, and additional supplemental materials are available online.

연구 동기 및 목표

• 기울기 없는 랜덤 생존 숲(RSF)의 높은 계산 비용이 대규모 생존 데이터 분석에서의 활용을 제한하므로 이를 해결하고자 한다.
• 기존의 변수 중요도 방법(예: 순열)이 예측 변수의 선형 조합으로 인해 효과적이지 못하므로, 기울기 없는 RSF의 해석 가능성을 향상시키고자 한다.
• 각 트리 노드 내에서 코크스 부분우도에 대한 뉴턴-랩슨 스코링을 적용하여 기울기 없는 RSF를 적합하는 스케일러블하고 효율적인 알고리즘을 개발하고자 한다.
• 기존의 값 순열이 아닌 계수의 부호를 뒤집는 방식으로 중요도를 평가하는 새로운 변수 중요도 방법인 '부정 기반 중요도'를 제안하고자 한다.
• 기본 테스트 및 시뮬레이션 연구를 통해 제안된 방법의 성능을 기존 방법들과 비교하고자 한다.

제안 방법

• 기울기 있는 결정 트리의 각 내부 노드에서 코크스 부분우도를 최적화하기 위해 뉴턴-랩슨 스코링을 적용하여 최적의 예측 변수 선형 조합에 대한 탐색 공간을 축소한다.
• 모든 가능한 조합에 대한 전수 검색을 대체하여, 빠른 반복 최적화 방법을 사용해 노드 분할을 위한 최적의 예측 변수 선형 조합을 식별한다.
• 각 선형 조합에서 특정 예측 변수의 계수를 부정(부호 뒤집기)하고, OOB(out-of-bag) 예측 정확도를 재평가한 후, 정확도 감소량을 측정하여 중요도를 추정함으로써 '부정 기반 변수 중요도'를 구현한다.
• 가속화된 적합 및 변수 중요도 방법을 aorsf R 패키지에 통합하여 오픈소스 사용과 재현 가능성을 확보한다.
• 시간에 따라 변화하는 concordance 지표와 Brier 점수를 사용하여 제안된 방법과 기존 구현체(obliqueRSF, ranger, xgboost 등)의 성능을 비교한다.
• 상관관계, 표본 크기, 예측 변수 효과가 다양하게 설정된 시뮬레이션 연구를 통해 변수 중요도 방법의 강건성과 분류 능력을 시험한다.

실험 결과

연구 질문

• RQ1 뉴턴-랩슨 최적화가 예측 정확도를 희생시키지 않고 기울기 없는 RSF의 계산 부담을 줄일 수 있는가?
• RQ2 기존의 순열 중요도, SHAP, ANOVA 기반 방법과 비교해 '부정 기반 중요도'가 관련된 예측 변수와 관련이 없는 예측 변수를 더 신뢰성 있게 구분할 수 있는가?
• RQ3 가속화된 aorsf의 성능은 기존 RSF 및 생존 모델 구현체와 비교해 예측 정확도와 실행 시간 측면에서 어떻게 다른가?
• RQ4 제안된 방법은 상관관계가 있는 예측 변수와 비선형 효과를 포함한 다양한 데이터 구조에서도 분류 능력을 유지하거나 향상시키는가?
• RQ5 aorsf 방법은 생존 예측 작업에서 주효과, 상호작용 효과, 조합 효과를 일관되게 식별할 수 있는가?

주요 결과

• 기존 기울기 없는 RSF 소프트웨어 대비 aorsf의 가속화된 구현은 약 450배 더 빠르며, 시간에 따라 변화하는 concordance(c-index)는 유사하고 Brier 점수는 더 우수하다.
• 특히 고상관관계 및 비선형 설정에서 순열 중요도, SHAP, ANOVA 기반 중요도보다 '부정 기반 중요도'가 관련된 예측 변수와 관련이 없는 예측 변수를 더 잘 식별하는 것으로 나타났다.
• 2,500명의 관측치와 30개의 예측 변수를 가진 시뮬레이션에서, 주효과의 경우 부정 기반 중요도는 99.8%의 분류 정확도를 달성했고, 순열 중요도는 95.2%였다.
• 조합 효과의 경우, 부정 기반 중요도는 n=2,500일 때 99.8%의 분류 정확도를 기록했으며, 순열(89.0%)과 SHAP(97.9%) 방법보다 뚜렷하게 뛰어났다.
• 모든 기준 테스트 작업에서 aorsf 방법은 높은 예측 정확도를 유지했으며, c-index 값은 0.705에서 0.797 사이였고, 대부분의 데이터셋에서 계산 시간이 2초 이내였다.
• 모든 제안된 방법을 포함한 aorsf R 패키지는 대규모 생물의학 데이터에 대한 효율적이고 해석 가능한 생존 모델링을 가능하게 한다.