[논문 리뷰] List-Decodable Linear Regression

Sushrut Karmalkar, Adam R. Klivans외 1명|arXiv (Cornell University)|2019. 05. 14.

Machine Learning and Algorithms참고 문헌 23인용 수 4

한 줄 요약

이 논문은 더 이상의 절반 이상의 데이터 포인트가 적대적으로 손상된 경우에도 다항 시간 알고리즘을 제안하는 최초의 논문이다. 리스트 디코딩 가능한 선형 회귀 문제에 대해, 이는 표준 정규분포 또는 초입방체 위의 균일분포와 같은 인증 가능한 반집중 분포를 따르는 내부 포인트를 가정할 때, 상수 크기의 가설 목록을 출력하며, 그 중 하나는 진짜 회귀 벡터에 가까운 것을 보장한다. 이는 강력한 이론적 보장을 갖춘 이론적 해법으로서, 이 분야에 첫 번째 효율적인 솔루션을 제공한다.

ABSTRACT

We give the first polynomial-time algorithm for robust regression in the list-decodable setting where an adversary can corrupt a greater than $1/2$ fraction of examples. For any $α< 1$, our algorithm takes as input a sample $\{(x_i,y_i)\}_{i \leq n}$ of $n$ linear equations where $αn$ of the equations satisfy $y_i = \langle x_i,\ell^* angle +ζ$ for some small noise $ζ$ and $(1-α)n$ of the equations are {\em arbitrarily} chosen. It outputs a list $L$ of size $O(1/α)$ - a fixed constant - that contains an $\ell$ that is close to $\ell^*$. Our algorithm succeeds whenever the inliers are chosen from a \emph{certifiably} anti-concentrated distribution $D$. In particular, this gives a $(d/α)^{O(1/α^8)}$ time algorithm to find a $O(1/α)$ size list when the inlier distribution is standard Gaussian. For discrete product distributions that are anti-concentrated only in \emph{regular} directions, we give an algorithm that achieves similar guarantee under the promise that $\ell^*$ has all coordinates of the same magnitude. To complement our result, we prove that the anti-concentration assumption on the inliers is information-theoretically necessary. Our algorithm is based on a new framework for list-decodable learning that strengthens the `identifiability to algorithms' paradigm based on the sum-of-squares method. In an independent and concurrent work, Raghavendra and Yau also used the Sum-of-Squares method to give a similar result for list-decodable regression.

연구 동기 및 목표

• 학습 데이터의 절반 이상이 적대자에 의해 손상된 상황에서, 진짜 회귀 벡터의 조건수나 강력한 분리 조건을 요구하지 않는 다항 시간 알고리즘을 설계하는 것.
• 리스트 디코딩 가능한 선형 회귀 문제의 정보 이론적 가능성을 보장하는 최소한의 분포 가정 조건을 규명하는 것.
• 합의 제곱(SoS) 방법을 통해 인증 가능한 반집중성과 알고리즘 해법 간의 체계적인 연결 고리를 설정하는 것.
• 모든 리스트 디코딩 가능한 선형 회귀 알고리즘에 대해 반집중성이 필수적임을 보여주는 정보 이론적 하한선을 밀도 있게 제시하는 것.

제안 방법

• 알고리즘은 손상된 데이터에서 유도된 모멘트 제약 조건을 만족하는 후보 회귀 벡터에 대한 의사분포를 구성하기 위해 합의 제곱(SoS) 방법을 활용한다.
• 내부 포인트 분포의 인증 가능한 반집중성 특성을 통합함으로써 '식별성에서 알고리즘으로의 전환' 프레임워크를 강화하는 새로운 프레임워크를 도입한다.
• 정규분포 및 지수 꼬리가 있는 구형 대칭 분포의 경우, 알고리즘은 (d/α)^O(1/α⁸)의 실행 시간과 O(1/α)의 리스트 크기를 달성한다.
• 이산 제품 분포의 경우, 진짜 회귀 벡터의 성분이 동일한 크기를 가져야 하며, 동일한 반집중 조건 하에서 동일한 리스트 크기와 실행 시간을 확보한다.
• 다양한 내부 포인트 방향에서 통계적으로 구분 불가능한 분포족 R_i를 구성함으로써 리스트 크기의 날카운 하한선을 확보한다.
• 반집중성이 정보 이론적으로 필수적임을 증명하기 위해, 내부 포인트 분포가 {0,1}^d 또는 [q]^d 위의 균일분포인 가족을 구성함으로써, 리스트 크기가 d 이하일 수 없는 것을 보였다.

실험 결과

연구 질문

• RQ1 진짜 회귀 벡터의 조건수나 강력한 분리 조건 없이도, 반 이상의 데이터가 적대적으로 손상된 상황에서 다항 시간 알고리즘을 설계할 수 있는가?
• RQ2 내부 포인트 데이터에 대해 리스트 디코딩 가능한 선형 회귀 문제를 정보 이론적으로 해결 가능하게 하기 위해 필요한 최소한의 분포 가정은 무엇인가?
• RQ3 합의 제곱 방법을 내부 포인트 분포에 대한 약한 가정 하에서도 리스트 디코딩 가능한 선형 회귀에 대해 효율적인 알고리즘으로 확장할 수 있는가?
• RQ4 내부 포인트 분포의 반집중성은 효율적인 리스트 디코딩 가능한 선형 회귀에 대해 필수적이고 충분한 조건인가?
• RQ5 어떤 알고리즘도 리스트 디코딩 가능한 선형 회귀 문제를 해결하기 위해 필요한 최소 리스트 크기는 얼마이며, 자연스러운 분포 하에서 이를 날카롭게 유계로 제시할 수 있는가?

주요 결과

• 알고리즘이 (d/α)^O(1/α⁸) 시간 내에 작동하며, 진짜 벡터 ℓ*에 가까운 회귀 벡터를 포함하는 O(1/α) 크기의 리스트를 출력한다. 이는 내부 포인트가 인증 가능한 반집중 분포를 따를 때 성립한다.
• 표준 정규분포를 가진 내부 포인트의 경우, 알고리즘은 (d/α)^O(1/α⁸)의 실행 시간을 확보하며, 상수 크기의 리스트를 보장하여 이 설정에서 첫 번째 효율적 솔루션이다.
• 알고리즘이 성공하는 조건은 내부 포인트 분포가 인증 가능한 반집중성을 가져야 한다는 것이다. 이는 지수 꼬리가 있는 구형 대칭 분포와 규칙적인 반집중성을 가진 이산 제품 분포를 포함한다.
• 논문은 반집중성이 정보 이론적으로 필수적임을 증명했다. {0,1}^d 또는 [q]^d 위의 균일분포인 경우, 리스트 크기가 d 이하일 수 없음을 보였다. 이는 노이즈가 없더라도 성립한다.
• 하한선 구성은 임의의 q에 대해 [q]^d 위의 균일분포는 P(⟨x,v⟩=0) ≤ 1/q임을 보여주며, 이 하한선은 날카롭다. 이는 q가 작을수록 리스트 크기가 d에 따라 증가해야 함을 의미한다.
• 이 작업는 리스트 디코딩 가능한 선형 회귀가 내부 포인트가 저차원 부분공간에 집중되지 않을 때만 가능하며, 인증 가능한 반집중성 조건이 알고리즘 적용에 실용적인 조건임을 규명했다.