[논문 리뷰] A likelihood-based approach for multivariate categorical response regression in high dimensions

Aaron J. Molstad, Adam J. Rothman|arXiv (Cornell University)|2020. 07. 15.

Advanced Statistical Methods and Models참고 문헌 36인용 수 5

한 줄 요약

이 논문은 고차원 다변량 범주형 반응 변수에 대해 가능도 기반 정규화 회귀 방법을 제안하며, 근사 분포, 로그 오즈 비율 또는 둘 다에 영향을 주는 예측 변수를 동시에 추정할 수 있도록 한다. 이 방법은 변수 선택과 해석 가능성에 기여하는 구조적 정규화를 사용하여, 편재성 위험 예측 적용 사례에서 기존 방법들보다 예측 정확도와 희박성 측면에서 뛰어난 성능을 보인다.

ABSTRACT

We propose a penalized likelihood method to fit the bivariate categorical response regression model. Our method allows practitioners to estimate which predictors are irrelevant, which predictors only affect the marginal distributions of the bivariate response, and which predictors affect both the marginal distributions and log odds ratios. To compute our estimator, we propose an efficient first order algorithm which we extend to settings where some subjects have only one response variable measured, i.e., the semi-supervised setting. We derive an asymptotic error bound which illustrates the performance of our estimator in high-dimensional settings. Generalizations to the multivariate categorical response regression model are proposed. Finally, simulation studies and an application in pan-cancer risk prediction demonstrate the usefulness of our method in terms of interpretability and prediction accuracy. An R package implementing the proposed method is available for download at github.com/ajmolstad/BvCategorical.

연구 동기 및 목표

• p >> n 인 고차원 환경에서 다변량 범주형 반응 변수 회귀를 위한 정규화 가능도 프레임워크를 개발하는 것.
• 단지 근사 분포에만 영향을 주는 예측 변수, 단지 로그 오즈 비율에만 영향을 주는 예측 변수, 또는 둘 다에 영향을 주는 예측 변수를 구분하는 것.
• 부적절한 예측 변수와 반응 변수 간 연관성에 영향을 주는 예측 변수를 식별함으로써 변수 선택을 가능하게 하는 것.
• 일부 환자에서 오직 하나의 반응만 측정된 경우와 같은 반감성 학습 환경으로 이 방법을 확장하는 것.
• 고차원 점근적 조건 하에서 추정기의 일관성을 보장하는 이론적 근거를 제시하는 것.

제안 방법

• 세 방향 텐서 계수 β∗ ∈ ℝ^{p×J×K}를 사용한 다변량 로지스틱 회귀 프레임워크를 활용해 이변량 범주형 반응 모델을 수립한다.
• 계수 벡터의 희박성을 유도하는 구조적 정규화를 적용하여 부적절한 예측 변수를 식별한다 (β∗_{m,:,:} = 0).
• 근사 분포에만 영향을 주는 예측 변수를 식별하기 위해 두 번째 정규화를 통합한다. 이는 그들의 로그 오즈 비율에 대한 영향을 제약한다.
• 주요화-최소화 및 블록 좌표 강하 기반의 효율적 최적화 알고리즘을 사용하여 추정기를 계산한다.
• 결측된 반응 성분을 처리할 수 있도록 가능도를 조정하여 반감성 학습 환경으로 이 방법을 확장한다.
• 고차원 점근적 조건 하에서 추정기의 점근적 오차 경계를 유도하여 일관성을 입증한다.

실험 결과

연구 질문

• RQ1 정규화 가능도 접근법은 다변량 범주형 반응 변수에서 단지 근사 분포에만 영향을 주는 예측 변수, 단지 연관성(로그 오즈 비율)에만 영향을 주는 예측 변수, 또는 둘 다에 영향을 주는 예측 변수를 효과적으로 구분할 수 있는가?
• RQ2 고차원 다변량 범주형 회귀에서 근사 및 연관 효과의 해석 가능성을 유지하면서 변수 선택을 어떻게 수행할 수 있는가?
• RQ3 p >> n 조건 하에서 제안된 추정기의 이론적 성능 보장은 무엇인가?
• RQ4 실제 데이터에서 기존 방법들과 비교해 예측 정확도와 희박성 측면에서 이 방법의 성능은 어떠한가?
• RQ5 일부 환자에서 오직 하나의 반응만 관측되는 반감성 학습 환경으로 이 방법을 확장할 수 있는가?

주요 결과

• 팬-카나서 리스크 예측 연구에서 LO-Mult는 모든 방법 중에서 가장 낮은 통합 분류 오차율(28.81%)을 기록했다.
• LO-Mult는 평균적으로 64.56개의 유전자만 선택하여, 다른 모든 방법보다 훨씬 적은 수의 변수를 선택함으로써 뛰어난 희박성과 해석 가능성 확보했다.
• 연령과 종양 단계가 단지 근사 분포에만 영향을 준다는 것이 정확히 식별되었으며, 임상적 직관과 일치했다.
• CAV1는 단지 근사 확률에만 영향을 준다고 추정되었고, CLN8는 로그 오즈 비율에 영향을 주었으며, CLN8는 다양한 암 유형에서 더 강한 영향을 보였다.
• 시각화 결과 CLN8 발현 증가가 CAV1보다 실패 확률을 더 크게 증가시키는 것으로 나타났으며, 특히 KIRC에서 두드러졌다.
• 점근적 오차 경계는 고차원 환경에서 추정기의 일관성을 확인하여 이론적 신뢰성을 뒷받침한다.