[논문 리뷰] Stochastic EM for Shuffled Linear Regression

Abubakar Abid, James Zou|arXiv (Cornell University)|2018. 04. 02.

Statistical Methods and Inference참고 문헌 15인용 수 13

한 줄 요약

이 논문은 레이블의 순서가 뒤섞인 선형 회귀 문제를 위한 확률적 기대최대화(EM) 프레임워크를 제안한다. 이는 알려지지 않은 레이블 순서를 잠재 변수로 간주하여 매개변수 추정을 향상시킨다. 여러 샘플에 걸쳐 순열의 기대값을 근사화함으로써, 특히 부분적으로 뒤섞인 데이터와 보스턴 주택과 같은 실세계 데이터셋에서 표준 하드 EM보다 낮은 매개변수 오차와 더 높은 강건성을 달성한다.

ABSTRACT

We consider the problem of inference in a linear regression model in which the relative ordering of the input features and output labels is not known. Such datasets naturally arise from experiments in which the samples are shuffled or permuted during the protocol. In this work, we propose a framework that treats the unknown permutation as a latent variable. We maximize the likelihood of observations using a stochastic expectation-maximization (EM) approach. We compare this to the dominant approach in the literature, which corresponds to hard EM in our framework. We show on synthetic data that the stochastic EM algorithm we develop has several advantages, including lower parameter error, less sensitivity to the choice of initialization, and significantly better performance on datasets that are only partially shuffled. We conclude by performing two experiments on real datasets that have been partially shuffled, in which we show that the stochastic EM algorithm can recover the weights with modest error.

연구 동기 및 목표

• 입력 특징과 출력 레이블이 뒤섞여 있어 표준 지도 학습이 적용되지 않는 선형 회귀 문제에 도전한다.
• 회귀 과정에서 알려지지 않은 순열을 잠재 변수로 모델링하는 원칙적인 통계적 프레임워크를 개발한다.
• 스토캐스틱 근사법을 통해 순열 추정의 불확실성을 통합함으로써 주로 하드 EM 방식을 개선한다.
• 부분적으로 뒤섞인 데이터에서 뛰어난 성능을 보이며, 초기화 민감도를 줄이는 것을 입증한다.
• 특징과 레이블 간의 대응 관계가 불완전한 약한 지도 학습 회귀 문제에 대해 확장 가능하고 강건한 대안을 제공한다.

제안 방법

• 순서가 뒤섞인 회귀 문제를 잠재 변수 모델로 모델링하며, 순열 행렬 Π₀는 관측되지 않으며 랜덤 변수로 간주한다.
• 스토캐스틱 EM을 적용: E단계에서는 현재 가중치 추정치에 기반한 가능도 가중치를 사용해 순열에 대한 사후 분포를 근사한다; M단계에서는 X의 의사역행렬을 사용해 가중치 벡터 w를 갱신한다.
• 모든 n! 개의 순열을 계산할 필요 없이, 다중 반복에서 순열 행렬의 기대값을 몬테카를로 샘플링으로 근사한다.
• 관측된 데이터의 로그가능도를 w와 Π의 함수로 기술하고, 반복적인 기대 및 최대화 단계를 통해 이를 최대화한다.
• y = Π₀Xw₀ + e (e ~ N(0, σ²)) 라는 생성 모델을 도입하며, Π₀는 관측되지 않게 하여 확률적 추론이 가능하게 한다.
• 스토캐스틱 EM 방법을 표준 하드 EM과 비교한다. 하드 EM은 각 단계에서 가장 가능성 높은 순열만 선택하므로 초기화 민감도가 높다.

실험 결과

연구 질문

• RQ1 표준 교차 최적화 대비 확률적 EM 프레임워크가 뒤섞인 선형 회귀에서 매개변수 추정에 있어 성능 향상을 이룰 수 있는가?
• RQ2 부분적으로 뒤섞인 데이터셋에서 스토캐스틱 EM 방법은 어떤 성능을 보이는가? (일부 순서 정보가 유지되는 경우)
• RQ3 스토캐스틱 EM 알고리즘은 하드 EM 대비 초기화 민감도가 얼마나 줄어드는가?
• RQ4 실세계 데이터셋에서 레이블이 익명화되거나 뒤섞인 경우, 제안된 방법이 정확한 회귀 가중치를 복원할 수 있는가?
• RQ5 노이즈 존재 시 비볼록성과 과적합으로 인해 기존 방법의 한계는 무엇인가?

주요 결과

• 스토캐스틱 EM 알고리즘은 전체 또는 부분적으로 뒤섞인 합성 데이터셋에서 하드 EM보다 유의미하게 낮은 매개변수 오차를 기록한다.
• 스토캐스틱 EM은 초기화 민감도가 현저히 낮아져 다양한 랜덤 시작점에서 일관된 성능을 보인다.
• 중간 주택 가격에 따라 10개 그룹으로 레이블이 뒤섞인 보스턴 주택 데이터셋에서, 스토캐스틱 EM은 테스트 평균제곱오차 0.032를 달성하여 하드 EM을 능가했다.
• 하드 EM 알고리즘은 비볼록 최적화 과정의 특성상 큰 n과 d에 대해 종종 열악한 국소 최적점에 수렴한다.
• 많은 수의 재시작을 거쳐도, 큰 데이터셋에서는 하드 EM이 스토캐스틱 EM의 성능을 따라잡지 못해 확장성 문제를 드러낸다.
• 독립적으로 뒤섞인 다수의 데이터 서브셋을 사용하면 과적합이 감소하고 일반화 성능이 향상되며, 실세계 응용에 실용적인 전략임을 시사한다.