[논문 리뷰] Learning Sample-Specific Models with Low-Rank Personalized Regression

Benjamin J. Lengerich, Bryon Aragam외 1명|arXiv (Cornell University)|2019. 10. 15.

Explainable Artificial Intelligence (XAI)인용 수 11

한 줄 요약

이 논문은 표본 간 관계에 대한 사전 지식이 필요 없이 개별 표본에 맞는 모델을 추정하기 위해 저질서 개인화 회귀를 제안한다. 모델에 포함되지 않은 공변량에서 잠재적 거리 측도를 학습함으로써, 개인화된 회귀 파라미터를 동시에 최적화함으로써 정확하고 해석 가능하며 예측 능력이 뛰어난 모델을 가능하게 한다. 이는 전역 모델을 능가하고 생물의학, 금융, 선거 데이터에서 미세한 이질성을 포착할 수 있다.

ABSTRACT

Modern applications of machine learning (ML) deal with increasingly heterogeneous datasets comprised of data collected from overlapping latent subpopulations. As a result, traditional models trained over large datasets may fail to recognize highly predictive localized effects in favour of weakly predictive global patterns. This is a problem because localized effects are critical to developing individualized policies and treatment plans in applications ranging from precision medicine to advertising. To address this challenge, we propose to estimate sample-specific models that tailor inference and prediction at the individual level. In contrast to classical ML models that estimate a single, complex model (or only a few complex models), our approach produces a model personalized to each sample. These sample-specific models can be studied to understand subgroup dynamics that go beyond coarse-grained class labels. Crucially, our approach does not assume that relationships between samples (e.g. a similarity network) are known a priori. Instead, we use unmodeled covariates to learn a latent distance metric over the samples. We apply this approach to financial, biomedical, and electoral data as well as simulated data and show that sample-specific models provide fine-grained interpretations of complicated phenomena without sacrificing predictive accuracy compared to state-of-the-art models such as deep neural networks.

연구 동기 및 목표

• 전통적인 기계학습 모델이 전역 패턴에 과도하게 의존함으로써 局소적이고 개인 수준의 영향을 포착하지 못하는 한계를 해결하기 위해.
• 예를 들어 사전 정의된 네트워크가 없는 한, 표본 간 관계가 알려져 있지 않은 상태에서도 표본별 회귀 모델을 추정할 수 있도록 하기 위해.
• 모델에 포함되지 않은 공변량에서 유도된 잠재적 거리 측도를 함께 학습함으로써, 하위집단 간 통계적 파워 공유를 가능하게 하기 위해.
• 粗분류 레이블을 넘어서 하위집단의 역학에 대한 설명 가능한, 미세한 단위의 통찰을 제공하기 위해.
• 딥 뉴럴 네트워크와 같은 복잡한 모델의 예측 성능에 맞추거나 초월하면서도 해석 가능한 개인화 모델이 가능함을 보여주기 위해.

제안 방법

• 표본 간 관계의 잠재적 저질서 표현을 학습하면서도 표본별 회귀 계수를 추정하는 공동 최적화 목표를 수립한다.
• 유사한 표본이 유사한 회귀 파라미터를 가지도록 유도하는 거리 일치 정규화를 사용하며, 이는 모델에 포함되지 않은 공변량에서 유도된다.
• 복잡도를 줄이고 효율적인 최적화를 가능하게 하기 위해 파라미터 행렬에 저질서 구조를 적용한다.
• 예측 변수는 표본마다 고정되어 있지만 반응 변수는 변할 수 있는 데이터에 프레임워크를 적용함으로써, 각 표본마다 다른 회귀 파라미터를 허용한다.
• 개별 모델에서 유도된 표본 임bedding을 해석하기 위해 t-SNE 시각화를 활용한다.
• 재현 가능성을 보장하고 실제 데이터셋에 적용할 수 있도록 GitHub에 공개된 파이썬 구현체를 사용한다.

실험 결과

연구 질문

• RQ1 표본 유사성에 대한 사전 지식이나 사전 정의된 네트워크가 없이도 표본별 모델을 효과적으로 추정할 수 있는가?
• RQ2 개인화된 회귀 모델은 전역 모델이나 혼합 모델에 비해 진짜로 존재하는 영향 크기를 얼마나 정확히 복원하는가?
• RQ3 이질적 데이터셋에서 해석 가능성을 유지하면서도 예측 정확도를 얼마나 향상시키는가?
• RQ4 표본별 모델은 인구통계학적 요소와 결과를 함께 분석할 때 포착되지 않는 숨겨진 하위집단 역학을 드러낼 수 있는가?
• RQ5 개인화된 모델 임bedding은 인구통계학적 요소와 결과 데이터를 연결하여 유도된 임bedding과 비교해 볼 때 어떻게 다른가?

주요 결과

• 기본 모델(변동 계수 모델 및 딥 러닝 모델 포함)에 비해 개인화된 회귀는 표본 외 예측 오차를 크게 감소시킨다.
• 시뮬레이션 연구에서 이 방법은 고정된 기능 형태를 가정하거나 전역 패턴에 의존하는 모델보다 진짜 영향 크기를 정확히 복원한다.
• 개인화된 모델에서 유도된 표본 임bedding은 인구통계학적 데이터와 투표 데이터 사이의 보간을 보이며, 연결 또는 개별 데이터 소스에서 포착되지 않는 복잡한 패턴을 드러낸다.
• 펜실베이니아 주 카운티 분석에서, 투표 결과가 유사한 래크와노와 얼레고니 카운티는 인구통계학적 요소의 차이로 인해 상당히 분리된 임bedding을 보였으며, 이는 투표 행동의 배경에 있는 다른 근본 원인을 드러냈다.
• 개인화된 모델 임bedding은 인구통계학적 요소나 결과 데이터에만 기반한 임bedding과 달리, 인구통계학적 요소와 결과 정보를 균형 있게 반영한 구조를 형성한다.
• 이 프레임워크는 예를 들어 유사한 카운티에서 투표 동기의 분리 현상을 포함한 하위집단 역학의 미세한 해석을 가능하게 하며, 이는 표준 공동 모델링 접근 방식이 놓치는 바이다.