[논문 리뷰] Reluctant additive modeling

J. Kenneth Tay, Robert Tibshirani|arXiv (Cornell University)|2019. 12. 04.

Statistical Methods and Inference참고 문헌 14인용 수 1

한 줄 요약

이 논문은 선형 특징보다 비선형 특징을 우선시하는 흐름을 고려한 스케일러블하고 다단계인 희소 일반화선형모형(GAM)을 위한 일반화된 가산모형(RGAM)을 소개한다. 비선형성의 정도가 부족한 경우에 적합한 선형성의 원리를 확장함으로써, 이는 이진, 카운트, 생존 데이터를 효과적으로 처리하면서도 모형 정확도를 향상시킨다.

ABSTRACT

Sparse generalized additive models (GAMs) are an extension of sparse generalized linear models which allow a model's prediction to vary non-linearly with an input variable. This enables the data analyst build more accurate models, especially when the linearity assumption is known to be a poor approximation of reality. Motivated by reluctant interaction modeling (Yu et al. 2019), we propose a multi-stage algorithm, called $ extit{reluctant generalized additive modeling (RGAM)}$, that can fit sparse generalized additive models at scale. It is guided by the principle that, if all else is equal, one should prefer a linear feature over a non-linear feature. Unlike existing methods for sparse GAMs, RGAM can be extended easily to binary, count and survival data. We demonstrate the method's effectiveness on real and simulated examples.

연구 동기 및 목표

• 비선형 관계를 처리할 수 있으면서도 해석 가능성을 유지하는 희소 일반화선형모형(GAM)을 적합하기 위한 스케일러블한 방법을 개발하는 것.
• 기존의 희소 GAM 방법이 다양한 지수족 분포에 대해 유연성이 부족한 점을 해결하는 것.
• 모형 성능이 유사할 경우 선형 특징을 비선형 특징보다 우선시하는 원칙을 통합함으로써 모형의 단순성(parsimony)을 향상시키는 것.
• 희소 상호작용 모형 프레임워크를 일반화선형모형으로 확장하여 이진, 카운트, 생존 결과에 대한 보다 넓은 적용 가능성을 확보하는 것.

제안 방법

• RGAM은 특징을 순차적으로 모형에 추가하는 다단계 알고리즘을 사용하며, 비선형 특징보다 선형 항을 우선적으로 고려한다.
• 일반화선형모형 프레임워크의 완화된 형태를 사용하여, 선형 항으로 시작해 가산 성분을 반복적으로 적합한다.
• 비선형 특징은 선형 항이 충분한 분산을 설명하지 못할 경우에만 포함되는 '억제된 선택 전략'을 적용한다.
• 알고리즘은 계산 효율성이 뛰어나고 스케일러블하여 고차원 데이터에 적합하다.
• 다양한 지수족 분포를 지원하여 적절한 링크 함수를 통해 이진, 카운트, 생존 데이터에 적용할 수 있다.
• 특징 선택은 정규화를 통해 스파arsity를 강제하는 펜라이즈드 우도 접근 방식에 의해 이끌린다.

실험 결과

연구 질문

• RQ1 선형 특징을 비선형 특징보다 우선시하는 다단계 알고리즘을 설계하여 희소 일반화선형모형을 효율적으로 적합시킬 수 있는가?
• RQ2 비선형 설정에서 억제된 선택 원리가 모형 정확도와 해석 가능성에 어떻게 기여하는가?
• RQ3 RGAM은 가우스 분포 외의 일반화선형모형, 특히 이진, 카운트, 생존 결과에 대해 얼마나 넓게 확장될 수 있는가?
• RQ4 다양한 데이터 유형에서 기존의 희소 GAM 방법과 비교해 RGAM의 성능과 확장성은 어떠한가?
• RQ5 특징 선택 순서(선형 → 비선형)가 모형 적합도와 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• RGAM은 희소 상호작용 모형 원리를 일반화선형모형으로 확장하여 다양한 데이터 유형에서 스케일러블한 적합이 가능해졌다.
• 선형 항이 충분하지 않을 경우 비선형 관계를 허용함으로써 과적합을 피하면서도 모형 정확도를 향상시켰다.
• 선형 특징을 우선시함으로써 모형의 해석 가능성과 단순성 원칙에 부합하는 더 명확한 모형을 도출하였다.
• 모의 및 실제 데이터 세트 모두에서 뛰어난 성능을 보였으며, 비선형성이 존재하지만 지배적이지 않은 경우에 특히 유리하다.
• 알고리즘은 계산 효율성과 확장성을 유지하여 고차원 데이터 응용에 적합하다.
• 이진, 카운트, 생존 데이터 모두에 효과적이며 지수족 분포 전반에 걸쳐 강건성을 보였다.