[논문 리뷰] Active Learning Algorithms for Graphical Model Selection

Gautam Dasarathy, Aarti Singh외 2명|arXiv (Cornell University)|2016. 02. 01.

Machine Learning and Algorithms참고 문헌 40인용 수 8

한 줄 요약

이 논문은 표본 복잡도를 줄이기 위해 고도수 정점은 적극적으로 샘플링하고 저도수 정점은 최소한으로 데이터를 수집하는 방식으로 적응형 샘플링을 수행하는 그래픽 모델 선택을 위한 새로운 주도 학습 프레임워크를 제안한다. 국소적 복잡도 측정치인 $\bar{d}_{\text{max}}$ (모든 정점의 이웃에서의 최대 도수의 평균)를 도입함으로써, 저자들은 AdPaCT와 AMPL이라는 알고리즘들이 $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$의 표본 복잡도를 달성함을 보여주며, $d_{\text{max}}$에 비례하는 스케일링을 보이는 수동 방법보다 크게 향상된 성능을 입증한다. 이는 비균일한 도수 분포를 가진 고차원 설정에서 증명 가능한 우수한 성능을 이끌어낸다.

ABSTRACT

The problem of learning the structure of a high dimensional graphical model from data has received considerable attention in recent years. In many applications such as sensor networks and proteomics it is often expensive to obtain samples from all the variables involved simultaneously. For instance, this might involve the synchronization of a large number of sensors or the tagging of a large number of proteins. To address this important issue, we initiate the study of a novel graphical model selection problem, where the goal is to optimize the total number of scalar samples obtained by allowing the collection of samples from only subsets of the variables. We propose a general paradigm for graphical model selection where feedback is used to guide the sampling to high degree vertices, while obtaining only few samples from the ones with the low degrees. We instantiate this framework with two specific active learning algorithms, one of which makes mild assumptions but is computationally expensive, while the other is more computationally efficient but requires stronger (nevertheless standard) assumptions. Whereas the sample complexity of passive algorithms is typically a function of the maximum degree of the graph, we show that the sample complexity of our algorithms is provable smaller and that it depends on a novel local complexity measure that is akin to the average degree of the graph. We finally demonstrate the efficacy of our framework via simulations.

연구 동기 및 목표

• 고차원 그래픽 모델에서 전체 연합 표본을 수집하는 데 드는 높은 비용을 해결하기 위해, 특히 센서 네트워크나 단백질체 연구와 같은 분야에서의 적용을 고려한다.
• 전체 연합 관측이 아닌 변수의 부분집합에서의 적응형이고 선택적인 샘플링을 통해 총 표본 복잡도를 줄이기 위해 노력한다.
• 고도수 정점은 우선적으로 샘플링하고 저도수 정점은 최소한으로 데이터를 수집하는 방식으로 지도하는 일반적인 주도 학습 프레임워크를 개발한다.
• 표본 복잡도가 기존의 전역 최대 도수 $d_{\text{max}}$가 아니라 새로운 국소적 측정치인 $\bar{d}_{\text{max}}$에 의존한다는 것을 입증한다.
• 주어진 조건 하에서 계산적으로 효율적이고 증명 가능한 정확도를 보장하는 구조 학습을 위한 알고리즘을 제공한다.

제안 방법

• 이전 샘플에 기반해 어떤 변수 부분집합을 샘플링할지 피드백을 이용해 지도하는 메타알고리즘(알고리즘 1)을 제안한다.
• 두 가지 구현체를 도입한다: AdPaCT(적응형 부분상관계 검정을 통한 포괄적 탐색)와 AMPL(효율적인 라소 기반 이웃 선택).
• 두 가지 핵심 서브루틴을 사용한다: nbdSelect(이웃 후보 선택)와 nbdVerify(이웃 검증)로, 조건 (C1)과 (C2)를 만족한다.
• AMP에서 $\ell_1$-정규화 회귀(라소)를 사용하여 희박성 가정 하에 효율적인 이웃 추정을 수행한다.
• $\bar{d}_{\text{max}}$를 정점의 모든 이웃에서의 최대 도수의 평균으로 정의하여, 표본 복잡도 상한에서 $d_{\text{max}}$를 대체하는 국소적 복잡도 측정치로 사용한다.
• 도수 추정치가 높은 정점일수록 더 많은 샘플링을 유도하는 피드백 기반 샘플링 전략을 적용한다.

실험 결과

연구 질문

• RQ1 수동 방법에 비해 정확한 그래픽 모델 구조 복원을 위해 필요한 스칼라 표본의 총 수를 줄일 수 있는가?
• RQ2 주도 학습의 표본 복잡도가 전역 최대 도수 $d_{\text{max}}$가 아니라 국소적 그래프 성질인 $\bar{d}_{\text{max}}$에 의존하는가?
• RQ3 표준 가정 하에서 계산적으로 효율적인 알고리즘이 포괄적 탐색 방법과 유사한 표본 복잡도를 달성할 수 있는가?
• RQ4 비균일한 도수 분포를 가진 그래프에서 주도 학습 알고리즘의 성능이 수동 이웃 회귀(예: Meinshausen-Bühlmann)와 비교해 어떻게 되는가?
• RQ5 이 주도 학습 프레임워크를 가우시안 그래픽 모델을 초월해 이방형 가족 모델(예: 이징 모델)으로 확장할 수 있는가?

주요 결과

• AdPaCT와 AMPL의 표본 복잡도는 $\mathcal{O}(\bar{d}_{\text{max}}p\log p)$이며, 이는 $d_{\text{max}}$에 비례하는 스케일링을 보이는 수동 방법보다 증명 가능한 작다.
• 싱글 클리크 그래프에서 AMPL는 효과적 표본 수 1202.1(ESC(0.9))을 요구했고, MB는 3361.8을 요구하여 표본 사용량이 64% 감소했다.
• 멀티플 클리크 그래프에서 AMPL는 ESC(0.9)가 1154.3이었고, MB는 2943.8이었으며, 이는 효과적 표본 수가 60% 감소한 것을 의미한다.
• 파워 레인지 그래프에서는 AMPL가 효과적 표본 수 1280.2(ESC(0.9))를 사용했고, MB는 2300.4를 사용하여 스케일프리 네트워크에서 일관된 성능 향상을 보였다.
• 모든 테스트된 그래프에서 AMPL의 평균 함머 오차는 MB보다 일관되게 낮았으며, 특히 낮은 표본 수에서 뚜렷한 우수성을 보였다. 이는 더 높은 모델 선택 정확도를 확인한다.
• 이 프레임워크는 가우시안 모델을 초월해 확장 가능하다. 이징 모델의 경우 $\ell_1$-정규화 로지스틱 회귀와 조건부 인성 검정이 서브루틴을 대체하여 더 넓은 적용 가능성을 제공한다.