[논문 리뷰] Regularized Ordinal Regression and the ordinalNet R Package

Michael Wurm, Paul J. Rathouz외 1명|PubMed|2017. 06. 15.

Neural Networks and Applications참고 문헌 1인용 수 29

한 줄 요약

이 논문은 순서형 및 비순서형 형태를 포함한 다항 회귀 모델인 ELMO 클래스를 소개하고, 변수 선택과 예측 성능 향상을 위한 유연한 네트워크 정규화를 적용한 좌표 강내 알고리즘을 제안한다. 주요 기여는 평행(비례 오즈) 및 비평행 모델을 위한 효율적인 페널티 추정을 가능하게 하는 R 패키지 ordinalNet의 개발이다. 이 패키지는 해석 가능성과 성능 향상을 위해 비평행 계수를 평행 구조로 수축시키는 반평행 형태를 포함한다.

ABSTRACT

Regularization techniques such as the lasso (Tibshirani 1996) and elastic net (Zou and Hastie 2005) can be used to improve regression model coefficient estimation and prediction accuracy, as well as to perform variable selection. Ordinal regression models are widely used in applications where the use of regularization could be beneficial; however, these models are not included in many popular software packages for regularized regression. We propose a coordinate descent algorithm to fit a broad class of ordinal regression models with an elastic net penalty. Furthermore, we demonstrate that each model in this class generalizes to a more flexible form, that can be used to model either ordered or unordered categorical response data. We call this the <i>elementwise link multinomial-ordinal</i> (ELMO) class, and it includes widely used models such as multinomial logistic regression (which also has an ordinal form) and ordinal logistic regression (which also has an unordered multinomial form). We introduce an elastic net penalty class that applies to either model form, and additionally, this penalty can be used to shrink a non-ordinal model toward its ordinal counterpart. Finally, we introduce the R package <b>ordinalNet</b>, which implements the algorithm for this model class.

연구 동기 및 목표

• 주요 통계 소프트웨어에서 순서형 회귀 모델에 대한 정규화 도구의 부족을 해결하기 위해.
• 유연한 네트워크 페널티를 적용한 순서형 및 비순서형 다항 회귀 모델을 통합적으로 피팅할 수 있는 프레임워크를 개발하기 위해.
• 비평행 모델의 계수를 평행 모델의 구조로 수축시켜 모델 안정성과 해석 가능성을 향상시키는 반평행 매개변수화 방식을 도입하기 위해.
• 광범위한 접근성과 재현 가능성을 확보하기 위해 이 방법을 R 패키지 ordinalNet에 구현하기 위해.
• 시뮬레이션과 실제 유전자 발현 데이터 분석을 통해 방법의 성능을 입증하기 위해.

제안 방법

• 일반적인 순서형 회귀 모델인 누적 로짓, 정지 비율, 계속 비율 모델을 일반화한 요소별 링크 다항-순서형(ELMO) 모델 클래스를 제안한다.
• 두 가지 매개변수화 형태를 정의한다: 평행(임계값 간 공유 계수) 및 비평행(변동 계수), 둘 다 순서형 및 순서가 없는 카디널 데이터에 적용 가능하다.
• 비평행 형태를 과도하게 매개변수화하여, 비평행 계수를 평행 구조로 수축시킬 수 있도록 하는 반평행 모델을 도입한다.
• 유연한 네트워크 페널티를 적용한 ELMO 모델을 효율적으로 피팅하기 위한 좌표 강내 알고리즘을 개발한다. 이는 변수 선택과 계수 수축을 가능하게 한다.
• lambda 및 alpha 파라미터를 통한 교차검증과 모델 튜닝을 지원하는 R 패키지 ordinalNet에 알고리즘을 구현한다.
• 유연한 네트워크 페널티를 사용해 라소(L1)와 리지(L2) 정규화의 균형을 이루며, 예측 정확도 향상과 고차원 예측 변수 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 유연한 네트워크 정규화를 적용한 좌표 강내 알고리즘을 통해 순서형 및 비순서형 다항 회귀 모델을 통합적으로 피팅할 수 있는가?
• RQ2 비평행 계수를 평행 구조로 수축시키는 반평행 모델이 예측 정확도와 모델 해석 가능성을 향상시키는가?
• RQ3 다양한 데이터 환경에서 비평행, 비평행, 반평행 모델의 외부 예측 정확도는 어떻게 비교되는가?
• RQ4 제안된 방법이 유전자 발현 데이터와 같은 고차원 순서형 회귀 설정에서 효과적으로 변수 선택을 수행할 수 있는가?
• RQ5 과도하게 매개변수화된 상태에서도 반평행 모델의 최대우도는 유일하게 식별 가능한가?

주요 결과

• 진짜 데이터 생성 과정이 비평행인 시뮬레이션 환경에서 반평행 모델이 평행 및 비평행 모델보다 더 높은 예측 정확도를 보였다.
• 비비례 오즈가 강한 경우 비평행 모델이 가장 뛰어난 예측 성능를 보였고, 비례 오즈 조건에서는 평행 모델이 가장 우수한 성능를 보였다.
• 시뮬레이션 연구에서 반평행 모델은 다양한 데이터 구조에서 경쟁적인 성능을 보이며 안정적인 보완책을 제공함을 확인했다.
• GSE18081 유전자 발현 데이터셋에서 ordinalNet은 높은 예측 정확도와 의미 있는 변수 선택을 수행한 유전자 서명을 성공적으로 식별했다.
• 교차검증된 로그우도가 가장 높은 모델은 반평행 모델이었으며, 평균 로그우도 = -2.411이었고, 이는 평행 모델(평균 = -1.971)과 비평행 모델(평균 = -2.217)을 모두 능가했다.
• ordinalNet의 좌표 강내 알고리즘은 여러 개의 lambda 및 alpha 값에 대해 효율적인 해의 경로를 계산하여 최소한의 계산 오버헤드로 효과적인 모델 튜닝을 가능하게 했다.