[논문 리뷰] A Distributed Method for Fitting Laplacian Regularized Stratified Models

Jonathan Tuck, Shane Barratt외 1명|arXiv (Cornell University)|2019. 04. 26.

Advanced Mathematical Modeling in Engineering참고 문헌 79인용 수 10

한 줄 요약

이 논문은 그래프 기반 정규화를 통해 범주형 특성 값 간의 매끄러운 매개변수 변화를 유도함으로써 기존의 계층 모델을 향상시키는 분산 ADMM 기반 방법을 제안한다. 이 방법은 볼록 또는 비볼록 손실 함수에 대해 국소 또는 전역 최적화를 가능하게 하며, 대규모 데이터셋에 대해 효율적으로 스케일링되며, 정규화를 통한 매개변수 공유를 통해 누락된 범주도 처리할 수 있다.

ABSTRACT

Stratified models are models that depend in an arbitrary way on a set of selected categorical features, and depend linearly on the other features. In a basic and traditional formulation a separate model is fit for each value of the categorical feature, using only the data that has the specific categorical value. To this formulation we add Laplacian regularization, which encourages the model parameters for neighboring categorical values to be similar. Laplacian regularization allows us to specify one or more weighted graphs on the stratification feature values. For example, stratifying over the days of the week, we can specify that the Sunday model parameter should be close to the Saturday and Monday model parameters. The regularization improves the performance of the model over the traditional stratified model, since the model for each value of the categorical `borrows strength' from its neighbors. In particular, it produces a model even for categorical values that did not appear in the training data set. We propose an efficient distributed method for fitting stratified models, based on the alternating direction method of multipliers (ADMM). When the fitting loss functions are convex, the stratified model fitting problem is convex, and our method computes the global minimizer of the loss plus regularization; in other cases it computes a local minimizer. The method is very efficient, and naturally scales to large data sets or numbers of stratified feature values. We illustrate our method with a variety of examples.

연구 동기 및 목표

• 특정 범주형 값에 대한 데이터가 희소하거나 존재하지 않을 경우 실패하는 기존 계층 모델의 한계를 해결하기 위해.
• 그래프 기반 계층 구조에서 이웃하는 범주형 값 간의 매끄러운 매개변수 변화를 유도하는 라플라시안 정규화를 통합하여 모델 일반화 성능을 향상시키기 위해.
• 특히 대규모 또는 고차원 데이터에 대해 효율적이고 확장 가능한 분산 최적화 방법을 개발하여 이러한 모델을 적합시키기 위해.
• 학습 데이터에 존재하지 않는 범주형 값에 대해서도 이웃 값들로부터의 정규화를 통한 매개변수 공유를 활용하여 모델 적합이 가능하도록 하기 위해.

제안 방법

• 이 방법은 라플라시안 정규화 계층 모델의 최적화 문제를 분산 방식으로 해결하기 위해 교대 방향 승수법(ADMM)을 사용한다.
• 적합 문제를 손실 함수와 라플라시안 정규화를 포함하는 볼록 최적화 문제로 공식화하며, 이는 가중치가 부여된 그래프 내 이웃 노드 간의 모델 매개변수 차이를 페널티로 삼는다.
• 알고리즘은 계층 분류 카테고리에 따라 문제를 분해하여 국소 모델 매개변수와 이중 변수의 병렬 계산을 가능하게 한다.
• 비볼록 손실 함수의 경우, ADMM 업데이트에서 근사 최소화를 적용하여 국소 최적화 히우리즘으로 간주한다.
• 각 노드가 이웃 노드와만 통신하도록 랜덤화된 좌표 강하법을 사용하여 라플라시안 시스템을 해결함으로써 탈중앙화된 구현을 지원한다.
• 각 카테고리별로 변수 크기의 매개변수 벡터를 허용하며, 누락되거나 적용 불가능한 특징을 처리하기 위해 정규화를 수정할 수 있다.

실험 결과

연구 질문

• RQ1 라플라시안 정규화는 이웃하는 범주형 값 간의 매개변수 공유를 가능하게 하여 계층 모델의 성능을 향상시킬 수 있는가?
• RQ2 분산 최적화 방법은 대규모 데이터셋과 많은 계층 카테고리에 대해 어떻게 효율적으로 스케일링될 수 있는가?
• RQ3 그래프 구조는 특히 학습 데이터가 없는 카테고리에 대해 모델 일반화에 어떤 영향을 미치는가?
• RQ4 비볼록 손실 함수의 경우 이 방법은 어떻게 성능을 보이며, 이러한 경우의 수렴 성질은 어떠한가?
• RQ5 이 방법은 이웃 노드 간의 국소 통신만을 기반으로 탈중앙화 방식으로 구현될 수 있는가?

주요 결과

• 제안된 분산 ADMM 방법은 볼록 손실 함수의 경우 전역 최소화점을 계산하고, 비볼록 케이스에서는 국소 최소화점을 확보하여 다양한 모델 유형에 걸쳐 강력한 최적화를 보장한다.
• 라플라시안 정규화 덕분에 학습 데이터에 존재하지 않는 범주형 값에 대해서도 그래프 구조를 통해 이웃 값들로부터 강도를 빌려와 모델 적합이 가능해진다.
• 분산 및 병렬 처리 가능한 설계 덕분에 대규모 데이터셋과 고차원 계층에 대해 효율적으로 스케일링됨을 입증하였다.
• 라플라시안 시스템에 대한 랜덤화된 좌표 강하법을 사용한 탈중앙화 구현은 일반 조건 하에서 수렴하며, 노드 간 국소 통신만 요구한다.
• 변수 크기의 매개변수 벡터와 특정 카테고리에서 적용 불가능한 특징에 대한 맞춤형 정규화를 지원하여 탄력적인 모델링이 가능하다.
• 실험 결과는 특히 특정 계층 수준에서 데이터가 희소하거나 누락된 경우에도 향상된 일반화 성능과 안정성을 보였다.