[논문 리뷰] Robust Estimation of Tree Structured Ising Models

Ashish Katiyar, Vatsal Shah외 1명|arXiv (Cornell University)|2020. 06. 10.

Bayesian Modeling and Causal Inference참고 문헌 2인용 수 7

한 줄 요약

이 논문은 노드 관측값이 알려지지 않은, 서로 다른, 독립적인 부호 뒤집기 노이즈에 의해 손상될 때 트리 구조를 가진 이징 모델을 학습하는 문제를 다룬다. 문제는 일반적으로 식별 불가능하지만, 잎 노드와 그 이웃 노드의 순열만을 허용하는 등가 클래스로 제한되며, 이 등가 클래스를 복원하는 로버스트 알고리즘을 제안한다. 이 알고리즘은 로그 수준의 표본 복잡도와 다항 시간 복잡도를 가지며, 노이즈가 있는 데이터에서 기존 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We consider the task of learning Ising models when the signs of different random variables are flipped independently with possibly unequal, unknown probabilities. In this paper, we focus on the problem of robust estimation of tree-structured Ising models. Without any additional assumption of side information, this is an open problem. We first prove that this problem is unidentifiable, however, this unidentifiability is limited to a small equivalence class of trees formed by leaf nodes exchanging positions with their neighbors. Next, we propose an algorithm to solve the above problem with logarithmic sample complexity in the number of nodes and polynomial run-time complexity. Lastly, we empirically demonstrate that, as expected, existing algorithms are not inherently robust in the proposed setting whereas our algorithm correctly recovers the underlying equivalence class.

연구 동기 및 목표

• 노드 관측값이 알려지지 않은, 서로 다른, 독립적인 부호 뒤집기 노이즈에 의해 손상될 때 트리 구조를 가진 이징 모델을 학습하는 문제를 다루는 것.
• 오차 확률에 대한 보조 정보가 없을 경우, 이러한 노이즈 하에서 기저 트리 구조가 여전히 식별 가능한지 조사하는 것.
• 이 노이즈 모델 하에서 구별 불가능한 트리의 등가 클래스를 복원하는 효율적인 알고리즘을 개발하는 것.
• 기존의 방법들인 Chow-Liu와 Sparsitron이 이 노이즈 모델 하에서 실패하는 것으로 실험적으로 보여주며, 제안된 방법이 성공함을 보이는 것.

제안 방법

• 일반적으로 학습 문제의 식별 불가능성을 증명하지만, 잎 노드와 그 즉각적인 이웃 노드의 순열만으로 제한됨을 보임.
• 노이즈 모델 하에서 구별 불가능한 트리의 등가 클래스를 특성화하여, 오직 잎 노드와 그 부모의 국소적 재배열만이 모호한 것을 보임.
• 노이즈가 있는 경험적 상관계수를 추정하고, 추정된 상관계수 행렬에 대해 수정된 최대 무게 신장 트리 방법을 적용하여 등가 클래스를 복원하는 알고리즘을 제안함.
• Hoeffding의 부등식을 활용하여 노이즈가 있는 표본 하에서 경험적 상관계수의 농도 한계를 유도하여, 고확률로 신뢰할 수 있는 추정을 보장함.
• 전체 그래프에 걸쳐 추정 오류 확률를 제어하기 위해 모든 노드 쌍에 대한 유니온 바운드를 사용함.
• 표본 복잡도 한계를 $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $ 로 유도하여, 오차 허용치 $\delta$ 와 신뢰도 $\tau$ 가 주어졌을 때 노드 수에 대해 로그 수준의 의존성을 보임.

실험 결과

연구 질문

• RQ1 노드 관측값이 알려지지 않은, 서로 다른, 독립적인 부호 뒤집기 노이즈에 의해 손상될 때 트리 구조를 가진 이징 모델의 구조가 여전히 식별 가능한가?
• RQ2 이 설정에서의 식별 불가능성의 성격은 무엇인가—유한한 트리의 등가 클래스로 특성화될 수 있는가?
• RQ3 효율적인 알고리즘이 낮은 표본 및 계산 복잡도로 이 등가 클래스를 복원할 수 있는가?
• RQ4 Chow-Liu와 같은 기존의 구조 학습 알고리즘이 이 노이즈 모델 하에서도 강건한가, 아니면 치명적인 실패를 겪는가?
• RQ5 이 노이즈 모델 하에서 등가 클래스를 신뢰성 있게 추정하기 위해 필요한 최소 표본 복잡도는 얼마인가?

주요 결과

• 알 수 없는, 서로 다른, 독립적인 부호 뒤집기 노이즈 하에서 트리 구조를 가진 이징 모델을 학습하는 문제는 일반적으로 식별 불가능하지만, 이 식별 불가능성은 작은 트리의 등가 클래스로 제한됨.
• 등가 클래스는 잎 노드와 그 즉각적인 이웃 노드를 순열로 재배열하여 생성된 모든 트리로 구성되며, 오직 국소적 재배열만이 모호함.
• 제안된 알고리즘은 노드 수에 대해 로그 수준의 표본 복잡도로 높은 확률로 이 등가 클래스를 성공적으로 복원함.
• 알고리즘은 다항 시간 복잡도를 달성하여 대규모 네트워크에 대해 확장 가능하고 실용적임.
• 실험 결과 기존 방법들인 Chow-Liu와 Sparsitron은 이 노이즈 모델 하에서 정확한 구조를 복원하지 못하는 반면, 제안된 방법은 등가 클래스를 정확히 식별함.
• 표본 복잡도 한계는 $ m = \mathcal{O}(\delta^{-2} \log(n^2 / \tau)) $ 로 주어지며, 이는 노드 수에 대해 로그 수준의 표본 수로 신뢰성 있는 복원이 가능함을 시사함.