[논문 리뷰] Provable learning of Noisy-or Networks

Sanjeev Arora, Rong Ge외 2명|arXiv (Cornell University)|2016. 12. 28.

Machine Learning and Algorithms참고 문헌 12인용 수 5

한 줄 요약

이 논문은 텐서 분해를 통해 단일층 노이즈 있는 OR 네트워크를 학습하기 위한 처음으로 증명 가능한 효율성 알고리즘을 제안하며, 매개변수 추정에서의 체계적 오차에 의해 발생하는 과제를 극복한다. 표본 복잡도의 경계를 설정하고, 충분한 데이터가 있을 경우 상관된 노이즈가 존재하더라도 네트워크 매개변수를 정확하게 복원할 수 있음을 보여주며, QMR-DT와 같은 의료 진단 모델의 확장 가능한 학습을 가능하게 한다.

ABSTRACT

Many machine learning applications use latent variable models to explain structure in data, whereby visible variables (= coordinates of the given datapoint) are explained as a probabilistic function of some hidden variables. Finding parameters with the maximum likelihood is NP-hard even in very simple settings. In recent years, provably efficient algorithms were nevertheless developed for models with linear structures: topic models, mixture models, hidden markov models, etc. These algorithms use matrix or tensor decomposition, and make some reasonable assumptions about the parameters of the underlying model. But matrix or tensor decomposition seems of little use when the latent variable model has nonlinearities. The current paper shows how to make progress: tensor decomposition is applied for learning the single-layer {\em noisy or} network, which is a textbook example of a Bayes net, and used for example in the classic QMR-DT software for diagnosing which disease(s) a patient may have by observing the symptoms he/she exhibits. The technical novelty here, which should be useful in other settings in future, is analysis of tensor decomposition in presence of systematic error (i.e., where the noise/error is correlated with the signal, and doesn't decrease as number of samples goes to infinity). This requires rethinking all steps of tensor decomposition methods from the ground up. For simplicity our analysis is stated assuming that the network parameters were chosen from a probability distribution but the method seems more generally applicable.

연구 동기 및 목표

• 비선형 잠재 변수 모델을 위한 증명 가능한 효율 알고리즘 개발을 통해 이론과 실천 간 격차를 메우기.
• 선형 모델을 초월해 비선형성을 다룰 수 있도록 텐서 분해 방법을 확장하고, 특히 노이즈 있는 OR 네트워크에 적용하기.
• 텐서 분해에서 발생하는 체계적 오차 문제를 해결하기 — 여기서 노이즈는 신호와 상관되어 있으며 표본 수 증가에도 사라지지 않는다.
• 환자의 증상 데이터로부터 QMR-DT와 같은 대규모 의료 진단 네트워크를 자동으로 학습할 수 있도록 하기.
• 노이즈 있는 OR 네트워크에 대해 표본 복잡도와 매개변수 복원 정확도에 대한 이론적 보장을 제공하기.

제안 방법

• 단일층 노이즈 있는 OR 네트워크에서 질병이 주어진 조건 하에 증상들이 조건부로 독립임을 가정하고, 가중치 행렬 W를 텐서 분해를 통해 학습한다.
• 증상 부재의 삼중 상호관측 확률의 경험적 추정치를 사용하여 3차원 텐서를 구성한다.
• 표본 오차를 줄이기 위해 PMI(점별 상호정보량)와 PMIT(삼중 상호정보량)를 사용하여 고차원 통계량을 추정한다.
• 체르노프 경계를 적용하여 쌍별 및 삼중 상호확률의 추정 오차를 제어하고, 충분한 표본 수가 있을 경우 농도 보장을 확보한다.
• 웨딘의 정리와 웨일의 정리를 사용하여 텐서 분해 중 특이값과 특이벡터의 변동을 경계하며, 체계적 오차가 존재하더라도 적용 가능하다.
• 행렬 편향 이론을 적용하여 복원된 가중치 행렬의 오차를 경계하고, 약한 가정 하에 진짜 매개변수로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 체계적 오차가 존재함에도 불구하고 텐서 분해가 비선형 잠재 변수 모델, 예를 들어 노이즈 있는 OR 네트워크에 적용 가능한가?
• RQ2 경험적 텐서 방법을 사용할 때 노이즈 있는 OR 네트워크에서 정확한 매개변수 추정을 달성하기 위해 필요한 표본 복잡도는 얼마인가?
• RQ3 표본 수 증가에 따라 사라지지 않는 상관된 노이즈에 대해 텐서 분해를 어떻게 강건하게 만들 수 있는가?
• RQ4 비선형 기반 모델이지만, 데이터로부터 노이즈 있는 OR 네트워크의 가중치 행렬 W를 증명 가능한 방식으로 복원할 수 있는가?
• RQ5 QMR-DT와 같이 수천 개의 증상과 질병을 포함하는 실제 대규모 응용 분야에 이 방법이 확장 가능한가?

주요 결과

• 증상과 질병의 수에 대한 다항식 경계를 초월하는 표본 수가 확보될 경우, 노이즈 있는 OR 네트워크에서 가중치 행렬 W를 높은 확률로 정확하게 복원할 수 있다.
• 표본 복잡도는 쌍별 PMI 추정에 대해 O(1/δ² log m)이며, 삼중 PMIT에 대해서도 O(1/δ² log m)로 경계되며, 여기서 δ는 추정 오차를 제어한다.
• 웨딘의 정리와 웨일의 정리를 사용한 편향 경계를 통해, 텐서 분해에서의 체계적 오차에 대해 알고리즘이 강건함을 입증하였다.
• 경험적 PMI 및 PMIT 추정치는 진짜 값 주변에 높은 확률로 집중되어 있어 신뢰할 수 있는 텐서 구성 보장.
• 이론적 보장에 따르면, 표본 수가 증가함에 따라 복원된 매개변수가 진짜 매개변수로 수렴함을 보여주며, 상관된 노이즈가 존재하더라도 성립한다.
• 이 방법은 이전에는 자동으로 학습하기 어려웠던 대규모 의료 진단 모델, 예를 들어 QMR-DT의 증명 가능한 학습을 가능하게 한다.