[논문 리뷰] Online and Distributed Robust Regressions under Adversarial Data Corruption

Xuchao Zhang, Liang Zhao외 2명|arXiv (Cornell University)|2017. 10. 02.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 6

한 줄 요약

이 논문은 대규모 데이터셋에서 악성 데이터 손상에 대응하기 위해 각 데이터 배치별 히우리스틱 하드 테이블링과 강건한 통합을 사용하는 분산 및 온라인 강건 회귀 알고리즘(DRLR 및 ORLR)을 제안한다. 이는 안정적인 계수 복원을 보장하며, 최신 백터 기반 방법에 비해 상수 오차 상한을 확보한다. 제안된 방법은 합성 및 실세계 데이터에서 강건성과 확장성 측면에서 기존 방법들을 능가한다.

ABSTRACT

In today's era of big data, robust least-squares regression becomes a more challenging problem when considering the adversarial corruption along with explosive growth of datasets. Traditional robust methods can handle the noise but suffer from several challenges when applied in huge dataset including 1) computational infeasibility of handling an entire dataset at once, 2) existence of heterogeneously distributed corruption, and 3) difficulty in corruption estimation when data cannot be entirely loaded. This paper proposes online and distributed robust regression approaches, both of which can concurrently address all the above challenges. Specifically, the distributed algorithm optimizes the regression coefficients of each data block via heuristic hard thresholding and combines all the estimates in a distributed robust consolidation. Furthermore, an online version of the distributed algorithm is proposed to incrementally update the existing estimates with new incoming data. We also prove that our algorithms benefit from strong robustness guarantees in terms of regression coefficient recovery with a constant upper bound on the error of state-of-the-art batch methods. Extensive experiments on synthetic and real datasets demonstrate that our approaches are superior to those of existing methods in effectiveness, with competitive efficiency.

연구 동기 및 목표

• 메모리에 전체 데이터를 로드할 수 없는 거대한 데이터셋에서 강건한 최소 제곱 회귀 문제를 해결한다.
• 이질적인 손상에 취약하고 대규모 데이터에서 계산이 불가능한 기존 강건 방법의 한계를 극복한다.
• 소규모 배치별 손상 정도를 추정하고 배치 간에 강건하게 결과를 통합하는 분산 알고리즘을 개발한다.
• 새로운 데이터를 점진적으로 업데이트하면서도 강건성을 유지하는 온라인 확장 기법을 설계한다.
• 최신 백터 기반 방법에 비해 상수 오차 상한으로 제한되는 계수 복원 오차에 대해 강력한 이론적 보장을 확보한다.

제안 방법

• 각 데이터 소규모 배치 내에서 손상 집합을 추정하기 위해 히우리스틱 하드 테이블링을 사용하여 이상치를 식별하고 제거한다.
• 개별 배치 추정치를 종합하여 글로벌 강건한 회귀 계수 벡터를 생성하기 위해 분산 강건 통합을 적용한다.
• 신규로 도착하는 데이터 배치를 사용하여 기존 추정치를 점진적으로 조정하는 온라인 업데이트 메커니즘을 구현한다.
• 전체 데이터셋에 대한 전역 지식이 필요 없이도 각 배치별로 손상 추정 전략을 도입한다.
• 이론적 분석을 통해 계수 복원 오차가 데이터셋 크기와 무관하게 상수로 제한됨을 증명한다.
• 실행 시간이 데이터 크기, 배치 수, 손상 비율에 따라 선형적으로 증가함으로써 확장성이 뛰어나도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 전체 데이터를 메모리에 로드할 수 없는 거대한 데이터셋에서, 데이터 손상이 악성일 경우 강건 회귀를 효과적으로 확장할 수 있는가?
• RQ2 손상이 데이터 배치 간에 이질적으로 분포할 경우 강건성이 유지될 수 있는가?
• RQ3 온라인 및 분산 프레임워크가 백터 기반 방법과 비교해 강력한 강건성 보장을 달성할 수 있는가?
• RQ4 다양한 손상 비율과 배치 수준의 손상 분포가 계수 복원 정확도에 미치는 영향은 무엇인가?
• RQ5 기존의 온라인 및 분산 강건 회귀 기법과 비교해 제안된 방법의 효율성과 강건성은 어떠한가?

주요 결과

• 최소한 하나의 소규모 배치가 손상된 경우, DRLR 및 ORLR는 모든 경쟁 방법보다 계수 복원 오차에서 뛰어난 성능을 보이며, 특히 높은 손상 비율에서 두각을 나타낸다.
• ORLR는 온라인 방법 중에서 가장 뛰어난 성능을 기록하며, 손상된 소규모 배치 수가 2에서 8로 증가함에 따라 낮은 오차를 유지한다.
• RLHH-AVG는 저손상 비율(≤10%)에서는 가장 우수한 성능을 보이지만, 몇 개의 배치만 손상되어도 급격히 성능이 떨어져 취약성을 드러낸다.
• OLS-AVG는 저손상 환경에서 작은 손상 편차로 인해 경쟁력 있는 성능을 보이지만, 고손상 조건에서는 실패한다.
• DRLR 및 ORLR는 데이터 크기, 배치 수, 손상 비율 증가에 따라 실행 시간이 선형적으로 증가함을 확인하여 강력한 확장성을 입증한다.
• 추가적인 손상 추정 및 통합 단계가 존재함에도 불구하고, DRLR 및 ORLR는 속도와 강건성 측면에서 RLHH를 모두 능가하는 경쟁력 있는 효율성을 확보한다.