[논문 리뷰] Convergence of Parameter Estimates for Regularized Mixed Linear Regression Models

Taiyao Wang, Ioannis Ch. Paschalidis|arXiv (Cornell University)|2019. 03. 21.

Statistical Methods and Inference참고 문헌 28인용 수 4

한 줄 요약

이 논문은 수렴 보장을 제공하는 정규화된 혼합 선형 회귀(Mixed Linear Regression, MLR)를 위한 혼합정수기법(Mixed-Integer Programming, MIP) 수식을 제안한다. 노이즈가 없는 경우와 클러스터 분리성 조건 하에서, 매개변수 추정치가 진짜 계수값으로 거의 확실히 수렴함을 입증한다. 또한 단일 클러스터 모델에서 마팅글 데리어런스 노이즈 조건 하에서도 수렴을 보여준다. 다중 클러스터에 노이즈가 존재할 경우, 반례를 통해 매개변수의 식별불가성으로 인해 강한 일致성(Strong Consistency)이 실패할 수 있음을 보여준다.

ABSTRACT

We consider {\em Mixed Linear Regression (MLR)}, where training data have been generated from a mixture of distinct linear models (or clusters) and we seek to identify the corresponding coefficient vectors. We introduce a {\em Mixed Integer Programming (MIP)} formulation for MLR subject to regularization constraints on the coefficient vectors. We establish that as the number of training samples grows large, the MIP solution converges to the true coefficient vectors in the absence of noise. Subject to slightly stronger assumptions, we also establish that the MIP identifies the clusters from which the training samples were generated. In the special case where training data come from a single cluster, we establish that the corresponding MIP yields a solution that converges to the true coefficient vector even when training data are perturbed by (martingale difference) noise. We provide a counterexample indicating that in the presence of noise, the MIP may fail to produce the true coefficient vectors for more than one clusters. We also provide numerical results testing the MIP solutions in synthetic examples with noise.

연구 동기 및 목표

• 일반적인 노이즈 및 특징 조건 하에서 혼합 선형 회귀 모델의 매개변수 추정치의 강한 일치성을 확립하기 위해.
• MLR에 대한 노름 기반 정규화를 통합한 혼합정수기법(MIP) 수식을 개발하기 위해.
• 표본 수가 증가함에 따라 MIP 해가 진짜 계수 벡터로 수렴하는지 분석하기 위해.
• MIP가 MLR에서 각 훈련 샘플의 클러스터 소속 관계를 정확히 식별할 수 있는 조건을 조사하기 위해.
• 특히 다중 클러스터 설정에서 노이즈에 대한 MIP 접근법의 강건성(로버스트니)을 검토하기 위해.

제안 방법

• 계수 벡터에 대한 정규화 제약 조건을 포함한 혼합 선형 회귀를 혼합정수기법(MIP)으로 수식화하기 위해.
• MIP 프레임워크를 활용해 클러스터 할당과 회귀 계수를 동시에 추정하기 위해.
• 최소제곱 추정치의 강한 일치성 이론 기법을 활용하여, 더 약한 가정 하에서 MIP 수식에 적응시키기 위해.
• 다중 클러스터 MLR에서 노이즈 존재 시 매개변수의 식별불가성으로 인해 강한 일치성이 실패할 수 있음을 보여주기 위해 반례를 활용하기 위해.
• GUROBI 8.0과 Python을 사용하여 가우시안 및 균일 노이즈가 포함된 시뮬레이션 데이터에서 수치 실험을 수행하기 위해.
• 표본 수 $n$ 에 따라 벡터 차이의 노름 $ \|\boldsymbol{\beta}^n_k - \boldsymbol{\beta}_k\|$ 를 수렴도 측정 지표로 사용하기 위해.

실험 결과

연구 질문

• RQ1 제안된 정규화된 MLR를 위한 MIP 수식이 노이즈가 없는 경우에 진짜 계수값으로 거의 확실히 수렴하는가?
• RQ2 MIP 해가 각 훈련 샘플의 클러스터 소속 관계를 정확히 식별할 수 있는 조건은 무엇인가?
• RQ3 특히 단일 클러스터의 경우에서 마팅글 데리어런스 노이즈에 의해 데이터가 훼손될 경우, MIP 접근법이 여전히 강한 일치성을 유지할 수 있는가?
• RQ4 왜 다중 클러스터 모델에서 노이즈 존재 시 MIP는 진짜 매개변수를 복원하지 못하는가? 그리고 이러한 실패의 원인은 어떤 구조적 제약에 기인하는가?
• RQ5 다양한 노이즈 분포와 클러스터 분리성 조건 하에서 MIP 추정치의 수렴 속도는 어떻게 행동하는가?

주요 결과

• 노이즈가 없는 경우, 훈련 샘플 수가 증가함에 따라 MIP 해는 거의 확실히 진짜 계수 벡터로 수렴한다.
• 클러스터 분리성 조건 하에서, MIP 해는 각 샘플이 유래된 클러스터를 정확히 식별한다.
• 마팅글 데리어런스 노이즈가 존재하는 단일 클러스터 모델에서는 약한 분포 가정 하에서도 MIP 해가 진짜 계수 벡터로 수렴한다.
• 반례를 통해 다중 클러스터 모델에서 노이즈 존재 시, 목표 함수 값이 최소화되더라도 매개변수의 식별불가성으로 인해 진짜 매개변수를 회복하지 못할 수 있음을 보여준다.
• 수치 실험 결과는 클러스터가 잘 분리되어 있을 경우, MIP 수렴이 가우시안 및 균일 노이즈 조건 하에서도 별개의 선형 회귀와 거의 동일한 수준임을 확인한다.
• 표본 수가 증가함에 따라 매개변수 추정치의 수렴 속도가 향상되며, MIP 수식은 일致성 보장 측면에서 표준 EM 유사 방법보다 뛰어난 성능을 보인다.