[논문 리뷰] Learning Ising Models with Independent Failures

Surbhi Goel, Daniel M. Kane외 1명|arXiv (Cornell University)|2019. 02. 13.

Statistical Methods and Inference참고 문헌 23인용 수 5

한 줄 요약

이 논문은 각 샘플의 항목이 알려지지 않은 확률 $ p $ 로 누락되거나 뒤집어지는 독립적 고장이 발생하는 상황에서 이징 모델의 구조를 학습하기 위한 최초의 효율적인 알고리즘을 제시한다. 상호작용 스크리닝 목적함수에 대한 비편향 그래디언트 추정기와 확률적 곱셈 그래디언트 하강법을 적용함으로써, $ p $ 가 알려지지 않은 상태에서도 상태 최적의 샘플 및 런타임 복잡도에 근접한 성능을 달성한다. 이는 청소된 데이터에 대해 최신 기술 수준에 맞는 성능을 보이며, 이는 $ p $ 가 알려지지 않은 경우에도 동일하게 유지된다.

ABSTRACT

We give the first efficient algorithm for learning the structure of an Ising model that tolerates independent failures; that is, each entry of the observed sample is missing with some unknown probability p. Our algorithm matches the essentially optimal runtime and sample complexity bounds of recent work for learning Ising models due to Klivans and Meka (2017). We devise a novel unbiased estimator for the gradient of the Interaction Screening Objective (ISO) due to Vuffray et al. (2016) and apply a stochastic multiplicative gradient descent algorithm to minimize this objective. Solutions to this minimization recover the neighborhood information of the underlying Ising model on a node by node basis.

연구 동기 및 목표

• 샘플이 독립적 고장(누락 또는 뒤집힘)으로 인해 손상된 경우 이징 모델의 구조 학습 문제를 해결한다.
• 실제 응용 분야(예: 센서 네트워크)에서 중요한 바탕이 되는 알려지지 않은 고장 확률 $ p $ 를 다룰 수 있도록 이전 연구의 한계를 극복한다.
• 데이터 손상에도 불구하고 청소된 데이터 알고리즘과 비슷한 근접 최적의 샘플 복잡도와 런타임 복잡도를 달성한다.
• 블록 고장 및 유사한 노이즈 모델을 다룰 수 있도록 접근법을 확장한다.
• 알려진 고장률과 알려지지 않은 고장률의 두 경우에 대해 구조 복구에 대한 이론적 보장을 제공한다.

제안 방법

• 노드별로 이웃 정보를 복구하기 위해 $ l_1 $-노름 제약 구역 위에서 상호작용 스크리닝 목적함수(Iso)를 최소화하는 방식으로 구조 학습을 공식화한다.
• 확률적 곱셈 그래디언트 하강법(SMG)을 사용할 수 있도록 최적화 문제를 단체로 변환함으로써 $ l_1 $-제약 조건을 자연스럽게 처리한다.
• 목적함수의 분해 가능성과 고장의 독립성을 활용하여 수정된 ISO에 대한 비편향이고 유계인 그래디언트 추정기를 구성한다.
• SMG에 비편향 그래디언트 추정기를 적용하여 ISO를 최소화함으로써 고확률 수렴 보장한다.
• Chernoff 및 이항 분포 유사도 분석을 통해 $ O(\text{poly}(\text{log} n)) $ 개의 신규 샘플을 사용해 알려지지 않은 고장 확률 $ p $ 를 추정한다.
• 총 변동 거리 측도를 사용해 진짜 $ p $ 를 가진 데이터와 추정된 $ \widehat{p} $ 를 가진 데이터의 분포 유사도를 증명함으로써 알고리즘의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 각 샘플 항목이 알려지지 않은 확률 $ p $ 로 독립적으로 누락되거나 뒤집어지는 경우에도 근접 최적의 샘플 및 런타임 복잡도를 유지하면서 이징 모델의 구조를 학습할 수 있는가?
• RQ2 독립적 고장 하에서 ISO에 대한 비편향 그래디언트 추정기를 구성할 수 있는가? 이는 효율적인 최적화를 가능하게 한다.
• RQ3 샘플 복잡도나 런타임 복잡도가 저하되지 않도록 알려지지 않은 고장 확률 $ p $ 를 어떻게 다룰 수 있는가?
• RQ4 제안된 방법은 고정된 항목 조합이 동시에 손상되는 블록 고장과 같은 다른 노이즈 모델로 확장할 수 있는가?
• RQ5 비편향 그래디언트 추정기를 사용하는 SMG가 정확한 구조 복구에 필요한 수렴 보장을 유지하는가?

주요 결과

• 알고리즘은 $ \widetilde{O}(n^2) $ 시간 내에 $ O(\lambda^4 \beta^{-4} \log n \cdot \exp(C\lambda)) $ 개의 샘플을 사용해 전체 이징 모델의 구조를 복구하며, 이는 클리반스와 메카(2017)의 청소된 데이터에 대한 최신 기술 수준의 샘플 및 런타임 복잡도를 그대로 유지한다.
• 알려진 $ p $ 의 경우 샘플 복잡도는 $ \exp(C\lambda) $ 에 의존하며, $ p < 1/2 $ 일 때 $ C \leq 10 $ 이고, 일반적인 $ p $ 에 대해서는 $ 1/(1-p) $ 의 비율로 증가한다.
• 모르는 $ p $ 의 경우 $ O(\log n) $ 개의 신규 샘플을 사용해 $ p $ 를 추정하는 것으로 동일한 보장을 유지할 수 있으며, 고장 확률은 오직 $ O(\delta) $ 만큼 증가한다.
• 진짜 $ p $ 를 가진 샘플의 분포와 추정된 $ \widehat{p} $ 를 가진 분포 사이의 총 변동 거리는 $ O(\delta) $ 이내이며, 이는 SMG 알고리즘이 강건함을 보장한다.
• 비편향 그래디언트 추정기는 ISO의 지수-선형 구조와 고장의 독립성을 활용하여 구성되었으며, 이는 별도의 관심사로도 유용할 수 있다.
• 이 방법은 고정된 항목 조합이 동시에 손상되는 블록 고장 모델로 일반화되며, 실세계의 데이터 손상 패tern에 광범위하게 적용 가능함을 보여준다.