[논문 리뷰] Sparse Polynomial Learning and Graph Sketching

Murat Kocaoglu, Karthikeyan Shanmugam외 2명|arXiv (Cornell University)|2014. 02. 17.

Machine Learning and Algorithms참고 문헌 16인용 수 6

한 줄 요약

이 논문은 유일한 부호 성질을 만족하는 최대 $ s $개의 비영계수를 가진 희박한 부울 다항식을 정확하게 재구성하는 다항식 시간 알고리즘을 제시한다 — 이 성질은 계수에 소수의 난수 편향이 가해지거나 모든 계수가 양수일 경우 보장된다. 이 방법은 무작위 균일 예제를 사용하며, 그래프 스케칭 기법을 적용하여 무작위 컷에서 희박한 초그래프를 학습하며, $ \mathrm{poly}(n, 2^s) $ 시간 내에 높은 확률로 정확한 복원을 달성한다.

ABSTRACT

Let $f:\{-1,1\}^n$ be a polynomial with at most $s$ non-zero real coefficients. We give an algorithm for exactly reconstructing f given random examples from the uniform distribution on $\{-1,1\}^n$ that runs in time polynomial in $n$ and $2s$ and succeeds if the function satisfies the unique sign property: there is one output value which corresponds to a unique set of values of the participating parities. This sufficient condition is satisfied when every coefficient of f is perturbed by a small random noise, or satisfied with high probability when s parity functions are chosen randomly or when all the coefficients are positive. Learning sparse polynomials over the Boolean domain in time polynomial in $n$ and $2s$ is considered notoriously hard in the worst-case. Our result shows that the problem is tractable for almost all sparse polynomials. Then, we show an application of this result to hypergraph sketching which is the problem of learning a sparse (both in the number of hyperedges and the size of the hyperedges) hypergraph from uniformly drawn random cuts. We also provide experimental results on a real world dataset.

연구 동기 및 목표

• 균일 분포 하에서 랜덤 예제만을 사용하여 $ \{-1,1\}^n $에서 $ s $-희박한 다항식을 학습하는 데 오랫동안 미해결된 문제를 해결한다.
• 희박한 다항식 학습이 가능해지는 자연스러운 조건을 규명하여 최악의 경우에서의 비가역성 문제를 극복한다.
• 학습 프레임워크를 초그래프 스케칭에 적용하여 무작위 컷에서 희박한 초그래프를 복원한다.
• 야후! 메신저 메시지와 같은 실세계 데이터셋에서 알고리즘의 효과성을 입증한다.

제안 방법

• 유일한 부호 성질을 활용: 함수 값이 활성 패리티 함수의 부호를 유일하게 식별할 수 있어 효율적인 재구성 가능.
• 균일 분포에서의 랜덤 샘플링을 활용하여 알려지지 않은 함수에 대한 쿼리 접근을 피한다.
• 샘플된 데이터로부터 상관관계 행렬 $ \mathbf{R} $를 구성하여 높은 내적 값으로 초간선 내 변수의 동시 등장 여부를 식별한다.
• 행렬 $ \mathbf{R} $에 임계값을 적용하여 관련 변수와 연결된 성분을 탐지한 후, 관련 변수에 대한 가능한 모든 패리티 함수와 상관관계를 분석한다.
• 정확도 보장을 위해 농도 불등식(예: 허프딩 부등식)을 적용하여 추정 오차를 제한한다.
• 선형 측정을 통한 압축 감지로 문제를 환원하지만, 유일한 부호 성질에서 유도되는 구조적 제약 조건을 활용하여 지수 시간을 피한다.

실험 결과

연구 질문

• RQ1 무작위 예제만을 사용하여 $ n $과 $ 2^s $에 대해 다항식 시간 내에 $ s $-희박한 부울 다항식을 학습할 수 있는 조건은 무엇인가?
• RQ2 계수에 소수의 난수 편향이 가해질 경우, 유일한 부호 성질이 실질적으로 보장될 수 있는가?
• RQ3 무작위로 선택된 컷에서 희박한 초그래프를 어떻게 복원할 수 있으며, 샘플 및 시간 복잡도는 어떻게 되는가?
• RQ4 타깃 함수가 근사적으로 희박한 경우, 특히 노이즈가 존재할 때 알고리즘이 얼마나 강인한가?

주요 결과

• 알고리즘은 유일한 부호 성질을 만족하는 임의의 $ s $-희박한 다항식을 높은 확률로 $ \mathrm{poly}(n, 2^s) $ 시간 내에 학습한다.
• 계수에 소수의 i.i.d. 가우시안 노이즈를 가해질 경우, 유일한 부호 성질이 확률 1로 성립하여 스무드 분석 성공을 보장한다.
• 초그래프 스케칭의 경우, $ k $가 관련 변수의 수일 때, $ O(2^k d \log n + 2^{2d+1} s^2 (\log n + k)) $개의 샘플을 사용하여 희박한 초그래프의 구조를 복원한다.
• 실행 시간은 $ O(n^2 d \log n + 2^{2k} d \log n + 2^k \cdot 2^{2d+1} s^2 (\log n + k)) $이며, 정확한 복원의 높은 확률을 보장한다.
• 알고리즘은 노이즈에 강인하다: $ f = f_1 + f_2 $ 이며 $ \|f_2\|_1 \leq \nu $ 이고, 추가 노이즈가 $ \epsilon $ 이하일 경우, $ \|f - g\|_2 \leq O(\nu + \epsilon) $ 를 달성한다.
• 야후! 메신저 데이터에 대한 실증 결과는 이 방법이 실세계의 희박한 초그래프 구조에서 효과적임을 확인한다.