[논문 리뷰] Multivariate Regression with Grossly Corrupted Observations: A Robust Approach and its Applications

Xiaowei Zhang, Chi Xu외 3명|arXiv (Cornell University)|2017. 01. 11.

Anomaly Detection Techniques and Applications참고 문헌 3인용 수 5

한 줄 요약

이 논문은 $β_{2,1}$-노름 손실과 군집 희소성 정규화를 사용하여 회귀 계수와 희소 오차 행렬을 동시에 추정함으로써, 알려지지 않은 위치와 크기의 심각한 손상되거나 누락된 관측치를 명시적으로 모델링하는 강건한 다변량 회귀 프레임워크를 제안한다. 이 방법은 다중 블록 프록시멀 ADMM 솔버를 활용하여 전역 수렴성을 보장하고, 합성 데이터 및 실세계 데이터(소셜 미디어에서의 성격 예측, 레이블 노이즈가 있는 3D 손 자세 추정 포함)에서 뛰어난 성능을 발휘한다.

ABSTRACT

This paper studies the problem of multivariate linear regression where a portion of the observations is grossly corrupted or is missing, and the magnitudes and locations of such occurrences are unknown in priori. To deal with this problem, we propose a new approach by explicitly consider the error source as well as its sparseness nature. An interesting property of our approach lies in its ability of allowing individual regression output elements or tasks to possess their unique noise levels. Moreover, despite working with a non-smooth optimization problem, our approach still guarantees to converge to its optimal solution. Experiments on synthetic data demonstrate the competitiveness of our approach compared with existing multivariate regression models. In addition, empirically our approach has been validated with very promising results on two exemplar real-world applications: The first concerns the prediction of extit{Big-Five} personality based on user behaviors at social network sites (SNSs), while the second is 3D human hand pose estimation from depth images. The implementation of our approach and comparison methods as well as the involved datasets are made publicly available in support of the open-source and reproducible research initiatives.

연구 동기 및 목표

• 일부 관측치가 알려지지 않은 위치와 크기로 심각하게 손상되거나 누락된 상황에서 다변량 회귀 문제를 다루기 위해.
• 다른 회귀 작업 또는 출력 변수 간의 이질적인 노이즈 수준을 모델링하기 위해.
• 전역 수렴성과 효율성을 보장하는 비미분 가능 최적화 프레임워크를 개발하기 위해.
• 실세계 응용 분야에서 레이블 손상이 발생하는 경우, 예를 들어 소셜 네트워크 사용자 행동에서의 성격 예측 및 깊이 영상에서의 3D 손 자세 추정을 포함하여 방법을 검증하기 위해.

제안 방법

• 관측 행렬을 $Y = XW^* + Z + G^*$로 모델링하며, $G^*$는 심각한 오차 또는 누락된 항목을 나타낸다.
• 작업별 노이즈 수준 적응을 가능하게 하기 위해 $β_{2,1}$-노름을 손실 함수로 사용한다.
• 작업 간 구조적 특징 선택을 장려하기 위해 $W$에 군집 희소성 정규화 ($r_W(W)$)를 적용한다.
• 심각한 오차를 탐지하고 수정하기 위해 $G$에 희소성 유도 $\ell_1$-노름 정규화 ($r_G(G)$)를 사용한다.
• 비미분 가능 최적화 문제를 해결하기 위해 다중 블록 프록시멀 분할 다중 승수 방법(ADMM)을 제안한다.
• 해결 방법은 비미분 성분이 존재하는 상황에서도 전역 수렴성과 높은 효율성을 입증하였다.

실험 결과

연구 질문

• RQ1 다변량 회귀 모델은 원칙적으로 회귀 계수를 동시에 추정하고 심각하게 손상되거나 누락된 관측치를 복구할 수 있는가?
• RQ2 모델은 다양한 출력 변수 또는 작업 간의 변동하는 노이즈 수준에 어떻게 적응할 수 있는가?
• RQ3 제안된 ADMM 기반 솔버는 이 비미분 가능 최적화 문제에 대해 전역 수렴성과 효율성을 보장하는가?
• RQ4 레이블 손상 또는 누락된 데이터가 존재하는 상황에서 기존 모델 대비 성능은 어떻게 되는가?
• RQ5 복잡하고 노이즈가 많은 데이터(예: 성격 예측 및 3D 손 자세 추정)를 포함한 실세계 응용 분야에 일반화 가능한가?

주요 결과

• 합성 데이터에서 제안된 CMRG 방법은 OMR, CMR, OMRG, DHand, AlexNet를 항상 능가하며, 특히 레이블 누락 또는 손상 수준이 증가할수록 두드러진 성능을 보였다.
• 성격 예측 과제에서, 이 방법은 노이즈가 많은 SNS 사용자 행동 데이터로부터 의미 있는 성격 특성들을 효과적으로 복구하였다.
• 3D 손 자세 추정 과제에서, CMRG는 모든 테스트된 방법 대비 가장 낮은 평균 관절 오차를 기록하였으며, 특히 지표가 20%에서 40%까지 누락된 경우 뛰어난 성능을 보였다.
• 기타 모델들이 성능 저하를 보이는 동안, 이 방법은 훈련 데이터에서 40%의 누락 항목이 존재하는 상황에서도 강건한 성능을 유지하였다.
• 모델을 CNN 특징과 통합함으로써 표준 딥러닝 기반 모델 대비 향상된 성능을 달성하였으며, 이는 이 방법과 딥 레이어 표현 간의 강력한 상호보완성을 시사한다.
• 제안된 다중 블록 프록시멀 ADMM 솔버는 전역 수렴성과 효율적인 런타임을 입증하여 대규모 문제에 대한 실용성을 입증하였다.