[논문 리뷰] Wasserstein regularization for sparse multi-task regression

Hicham Janati, Marco Cuturi외 1명|arXiv (Cornell University)|2018. 05. 20.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 14

한 줄 요약

이 논문은 다중 작업 회귀에서 희박성을 유지하면서도 교차 작업 간 회귀 계수 간의 기하학적 구조를 균형 잡히지 않은 최적 운반 이론을 통해 모델링하는 볼록 정규화 기법인 Multi-task Wasserstein (MTW)을 제안한다. 이는 활성 기능의 겹침이 필요로 하지 않는 방식으로 작업 간 관계를 모델링한다. Sinkhorn 정규화 최적 운반 이론과 프록시멀 좌표 강하를 조합함으로써, MTW는 합성 및 신경영상 데이터셋에서 기존 최고 성능 기법들을 능가하며 진짜 지원을 회복하는 데 성공한다. 특히 기능이 완전히 겹치지 않거나 부분적으로 겹치는 경우에 뛰어난 성능을 보인다.

ABSTRACT

We focus in this paper on high-dimensional regression problems where each regressor can be associated to a location in a physical space, or more generally a generic geometric space. Such problems often employ sparse priors, which promote models using a small subset of regressors. To increase statistical power, the so-called multi-task techniques were proposed, which consist in the simultaneous estimation of several related models. Combined with sparsity assumptions, it lead to models enforcing the active regressors to be shared across models, thanks to, for instance L1 / Lq norms. We argue in this paper that these techniques fail to leverage the spatial information associated to regressors. Indeed, while sparse priors enforce that only a small subset of variables is used, the assumption that these regressors overlap across all tasks is overly simplistic given the spatial variability observed in real data. In this paper, we propose a convex regularizer for multi-task regression that encodes a more flexible geometry. Our regularizer is based on unbalanced optimal transport (OT) theory, and can take into account a prior geometric knowledge on the regressor variables, without necessarily requiring overlapping supports. We derive an efficient algorithm based on a regularized formulation of OT, which iterates through applications of Sinkhorn's algorithm along with coordinate descent iterations. The performance of our model is demonstrated on regular grids with both synthetic and real datasets as well as complex triangulated geometries of the cortex with an application in neuroimaging.

연구 동기 및 목표

• 기존의 다중 작업 Lasso 방법이 작업 간 활성 기능의 완벽한 겹침을 전제로 하여, 공간적으로 구조화된 자료에서는 종종 현실적이지 않은 한계를 해결하기 위해.
• 공동 지원을 강제하지 않고도 회귀자 위치(예: 뇌 영역, 기상 관측소)의 기하학적 정보를 다중 작업 회귀에 통합하기 위해.
• 고차원적이고 희박한 다중 작업 회귀 문제에서 효율적인 학습을 가능하게 하는 볼록적이고 확장 가능한 최적화 프레임워크를 개발하기 위해.
• 최적 운반 이론을 통해 기능 간 근접성을 모델링할 경우, 표준 희박성 유도 노름보다 더 나은 지원 회복 및 통계적 성능을 달성할 수 있는지 입증하기 위해.

제안 방법

• 다양한 작업 간 계수 벡터 간의 유사도를 측정하기 위해 비균형 최적 운반 이론(Optimal Transport, OT) 기반의 새로운 볼록 정규화 기법을 제안하여, 회귀자 간 기하학적 관계를 인코딩한다.
• 계산 효율성을 확보하기 위해 엔트로피 스무딩을 적용한 정규화된 OT 공식을 사용하여 Sinkhorn 알고리즘을 통해 효율적인 계산이 가능하게 하며, GPU 가속을 지원한다.
• 다중 작업 회귀 문제의 교대 최적화를 위해 Sinkhorn 반복과 프록시멀 좌표 강하를 조합한다.
• 물리적 또는 기하학적 구조(예: 씻은 망막 거리)를 기반으로 한 지름길 비용을 사용하여 운반 비용을 안내한다.
• 정규 격자와 인간 씻은 뇌와 같은 복잡한 삼각형 메esh 구조를 모두 적용하여 공간적으로 분포된 기능을 모델링한다.
• 계수 벡터에서 잠재적인 바리센터를 유도하여 코hort 전체에서 가장 대표적인 기능을 식별한다.

실험 결과

연구 질문

• RQ1 최적 운반 이론을 사용하여 다중 작업 학습에서 회귀 계수 간의 기하학적 관계를 모델링할 수 있는가? 이 경우 활성 기능의 공유를 전제로 하지 않는다.
• RQ2 Wasserstein 기반 정규화 기법은 기존의 ℓ1/ℓq 노름과 비교해 희박하고 겹치지 않는 지원을 얼마나 잘 회복하는가?
• RQ3 기하학적 구조를 통합할 경우, 표본 수가 제한된 고차원 회귀에서 통계적 능력이 얼마나 향상되는가?
• RQ4 제안된 방법은 씻은 표면과 같은 복잡한 비유클리드 기하학에 대해 효율적으로 확장 가능한가?

주요 결과

• MTW는 독립 Lasso 및 다중 작업 Lasso보다 지원 회복의 AUC 점수에서 뚜렷한 승리를 거두었으며, 50% 겹침과 작업당 6개의 비영인 기능을 가진 합성 MEG 데이터에서 AUC 0.92를 기록했다.
• 겹치지 않는 지원이 있는 상황에서는 MTW가 AUC 0.91을 기록했고, 독립 Lasso는 단지 0.54에 머물렀다. 이는 공간적 근접성을 효과적으로 활용할 수 있음을 보여준다.
• 작업 수가 증가함에 따라 MTW는 일관된 성능 향상을 유지하며, AUC가 2개 작업일 때 0.78에서 8개 작업일 때 0.90으로 상승한다. 반면 더러운 모델은 성능이 정체된다.
• MTW가 학습한 잠재 바리센터는 환자 간 공통적인 활성 패턴을 효과적으로 식별하여 신경영상 응용 분야에서의 공통 기능을 부각시킨다.
• SNR = 4인 실제 MEG 데이터에서, MTW는 30회의 시험 평균 AUC 0.88을 기록했으며, 모든 겹침 수준에서 MLL 및 더러운 모델을 모두 능가했다.
• MTW는 지원 겹침 정도가 다양할 경우에도 뛰어난 성능 유지를 보였으며, 겹침 비율이 20%에 불과할 때조차도 열등한 성능를 유지하지 않았다.