[논문 리뷰] Lower Bounds on Active Learning for Graphical Model Selection

Jonathan Scarlett, Volkan Cevher|arXiv (Cornell University)|2016. 07. 08.

Machine Learning and Algorithms참고 문헌 21인용 수 5

한 줄 요약

이 논문은 degree-bounded 그래프 클래스에서 Ising 및 가우시안 모델에 대한 그래픽 모델 선택의 주도적 학습(active learning)에 대해 알고리즘 독립적인 최소극한 하한을 수립한다. Fano의 부등식과 부분 관측에 특화된 새로운 상호정보량 경계를 사용하여, 많은 경우에 주도적 학습이 수동 학습보다 최소극한에서의 개선이 없음을 보이며, Ising 모델에서는 최대 차수, 가우시안 모델에서는 특정 집합에서 평균 차수가 핵심적인 역할을 한다.

ABSTRACT

We consider the problem of estimating the underlying graph associated with a Markov random field, with the added twist that the decoding algorithm can iteratively choose which subsets of nodes to sample based on the previous samples, resulting in an active learning setting. Considering both Ising and Gaussian models, we provide algorithm-independent lower bounds for high-probability recovery within the class of degree-bounded graphs. Our main results are minimax lower bounds for the active setting that match the best known lower bounds for the passive setting, which in turn are known to be tight in several cases of interest. Our analysis is based on Fano's inequality, along with novel mutual information bounds for the active learning setting, and the application of restricted graph ensembles. While we consider ensembles that are similar or identical to those used in the passive setting, we require different analysis techniques, with a key challenge being bounding a mutual information quantity associated with observed subsets of nodes, as opposed to full observations.

연구 동기 및 목표

• 그래픽 모델 선택에 대한 주도적 학습 이론의 격차를 메우기 위해 알고리즘 독립적인 하한을 수립하기 위해.
• degree-bounded 그래픽 모델에서 주도적 학습이 수동 학습에 비해 샘플 복잡도에서 본질적인 개선을 제공하는지 확인하기 위해.
• 다른 모델 클래스에서 기본적인 한계를 결정하는 데 최대 차수 또는 평균 차수가 더 핵심적인지 규명하기 위해.
• 주도적 학습에서 부분적이고 적응적인 관측 하에서 상호정보량을 경계하기 위한 새로운 분석 기법을 개발하기 위해.
• 제약이 있는 그래프 집합을 구성하여 주도적 학습이 증명 가능한 개선을 가져오는 영역를 특성화하기 위해.

제안 방법

• 적응적 샘플링과 부분 관측을 고려한 Fano의 부등식의 변형을 도입하여 주도적 학습 설정에 적응시켰다.
• 부분 관측이 있는 주도적 학습을 분석하는 데 핵심적인, 노드 부분집합에 대한 새로운 상호정보량 경계를 도입하였다.
• 어려운 구분이 가능한 그래프 쌍을 구성하기 위해 고립된 간선과 한 개의 간선가 없는 클리크와 같은 제약이 있는 그래프 집합을 사용하였다.
• Ising 및 가우시안 그래픽 모델 모두에 이 프레임워크를 적용하여 차수 제약 하에서 최소극한 하한을 유도하였다.
• 가우시안 모델에서 지네(genie) 추론 기법을 사용하여, 최고 차수를 가진 노드들이 사전에 공개될 경우 평균 차수가 샘플 복잡도의 주요 요소가 됨을 드러내었다.
• 간선 수 제약이 있는 그래프 클래스로 분석을 확장하고, Erdős–Rényi 및 힘의 법칙 네트워크와 같은 무작위 그래프 모델에 대한 함의를 논의하였다.

실험 결과

연구 질문

• RQ1 최소극한 관점에서 그래픽 모델 선택에 대해 주도적 학습이 수동 학습에 비해 샘플 복잡도에서 본질적인 개선을 제공하는가?
• RQ2 최대 차수 또는 평균 차수가 주도적 그래픽 모델 선택에서 정보이론적 한계를 결정하는 데 더 핵심적인 매개변수인가?
• RQ3 주도적 학습 설정에서 관측된 노드 부분집합과 기저 그래프 사이의 상호정보량을 효과적으로 경계할 수 있는가?
• RQ4 주도적 학습이 수동 학습의 샘플 복잡도를 초월하지 못하는 그래프 집합이 존재하는가?
• RQ5 간선 매개변수 또는 그래프 내 상관관계 구조가 다양할 경우 기본 한계는 어떻게 변화하는가?

주요 결과

• Ising 모델의 경우 최소극한 하한은 최대 차수 $d_{\mathrm{max}}$에 비례하며, 이는 worst-case에서 주도적 학습이 $d_{\mathrm{max}}$에 대한 의존도를 수동 학습을 초월해 향상시킬 수 없음을 시사한다.
• 특정 집합에서 크기가 다른 클리크를 포함하는 가우시안 모델에서는 하한이 평균 차수 $d_{\mathrm{avg}}$에 의존하며, 이는 이전 연구에서의 $O((1 + d_{\mathrm{avg}})p\log p)$ 상한과 로그 인자 외에는 일치한다.
• 논문은 degree-bounded 그래프에서 주도적 학습이 최소극한 샘플 복잡도를 유의미하게 향상시키지 못함을 입증하였으며, 하한이 가장 잘 알려진 수동 학습 하한과 일치함을 보였다.
• 지네 추론 기법을 통해, 상위 $\alpha p$개의 노드들이 서로 일정한 인자 범위 내에서 차수를 가지면, 가우시안 모델에서 하한의 주요 요소로 평균 차수가 지배적임을 드러냈다.
• 분석 결과, 주도적 학습에서 부분 관측과 관련된 상호정보량을 효과적으로 경계하기 위해서는 수동 학습에서 사용된 기법을 넘어서는 새로운 기법이 필요하며, 특히 부분집합 샘플링에서의 정보 경계를 위한 기법이 필수적임을 보였다.
• 일부 경우, 예를 들어 고차수 클리크를 가진 Ising 모델에서는 최대 차수조차도 주도적 학습 하에서도 여전히 핵심적인 제약 요소로 남아 있음을 시사한다.