[논문 리뷰] Submodularity in Batch Active Learning and Survey Problems on Gaussian Random Fields

Yifei Ma, Roman Garnett외 1명|arXiv (Cornell University)|2012. 09. 17.

Machine Learning and Algorithms참고 문헌 8인용 수 3

한 줄 요약

이 논문은 가우시안 랜덤 필드(GRFs)에서 배치 주의적 학습의 V-최적성 기준이 하위모듈라임을 증명하며, 이는 예산 제약 하에 하위집합 선택에 대해 $(1 - 1/e)$ 근사 비율을 보장하는 탐욕 알고리즘을 가능하게 한다. 또한 GRFs가 억압자 부재(AofS) 조건을 만족함을 증명하고, $\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$ 위험 기준을 사용한 주의적 설문 문제로 하위모듈라리티 결과를 확장한다.

ABSTRACT

Many real-world datasets can be represented in the form of a graph whose edge weights designate similarities between instances. A discrete Gaussian random field (GRF) model is a finite-dimensional Gaussian process (GP) whose prior covariance is the inverse of a graph Laplacian. Minimizing the trace of the predictive covariance Sigma (V-optimality) on GRFs has proven successful in batch active learning classification problems with budget constraints. However, its worst-case bound has been missing. We show that the V-optimality on GRFs as a function of the batch query set is submodular and hence its greedy selection algorithm guarantees an (1-1/e) approximation ratio. Moreover, GRF models have the absence-of-suppressor (AofS) condition. For active survey problems, we propose a similar survey criterion which minimizes 1'(Sigma)1. In practice, V-optimality criterion performs better than GPs with mutual information gain criteria and allows nonuniform costs for different nodes.

연구 동기 및 목표

• 가우시안 랜덤 필드(GRFs)에서 V-최적성 기준을 사용한 배치 주의적 학습에 대한 이론적 최악의 경우 근사 보장을 확립하기 위해.
• GRFs에서 V-최적성 기준이 하위모듈라임을 입증하여, 탐욕적 선택을 통한 $(1 - 1/e)$ 근사 비율을 보장하기 위해.
• 모든 GRF 모델이 억압자 부재(AofS) 조건을 만족함을 보여주어 하위모듈라리티를 촉진하고 이론적 취급 용이성을 향상시키기 위해.
• 새로운 위험 기준인 $\bm{1}^T \tilde{\boldsymbol{\theta}} \bm{1}$을 최소화하는 방식으로 하위모듈라리티 프레임워크를 주의적 설문 문제로 확장하기 위해.
• 실세계 공동저자 그래프 분류 작업에서 V-최적성 기준이 상호정보량 증가와 무작위 선택보다 우수함을 실증적으로 검증하기 위해.

제안 방법

• 그래프 라플라시안 $L = L_0 + \text{diag}(\sigma_i^{-2})$ 로부터 유도된 사전 공분산을 갖는 정규화된 이산 GRF 모델을 수식적으로 정의한다.
• 예측 공분산 $\Sigma$ 의 추적을 최소화함으로써 예측 분산을 줄이기 위해, V-최적성 기준을 $\text{Tr}(\Sigma)$ 로 정의한다.
• 스펙트럼 분해와 역라플라시안의 성질을 사용하여, 역라플라시안의 성질을 이용해 배치 질의 집합에 대한 V-최적성 함수의 하위모듈라리티를 증명한다.
• 위험 $R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$ 을 갖는 새로운 주의적 설문 문제를 도입하고, 동일한 조건 하에서 그 하위모듈라리티를 증명한다.
• 라플라시안 행렬의 고유분해를 이용해 $R_s(\{v_i\})$ 의 빠른 평가를 위한 효율적인 알고리즘(알고리즘 3)을 개발한다.
• 배치 주의적 학습과 설문 문제 양쪽에 대해 탐욕적 선택 알고리즘(알고리즘 1)을 활용하며, 이론적 $(1 - 1/e)$ 근사 보장을 제공한다.

실험 결과

연구 질문

• RQ1 GRFs에서 V-최적성 기준이 하위모듈라림을 보이며, 이는 배치 주의적 학습에 대해 증명 가능한 근사 비율을 보장하는가?
• RQ2 GRF 모델에서 억압자 부재(AofS) 조건을 보장할 수 있으며, 이는 하위모듈라리티를 보장하는가?
• RQ3 실세계 주의적 학습 작업에서 V-최적성 기준이 상호정보량 증가와 무작위 선택보다 우수한가?
• RQ4 새로운 위험 기준 $\bm{1}^T \tilde{L}^{-1} \bm{1}$ 을 갖는 주의적 설문 문제로 하위모듈라리티 프레임워크를 확장할 수 있는가?
• RQ5 대규모 그래프에서 V-최적성 및 설문 위험 기준의 평가에 있어 계산 효율성은 어떠한가?

주요 결과

• GRFs에서 V-최적성 기준은 증명 가능한 하위모듈라리티를 보이며, 이는 예산 제약 하에 탐욕적 배치 선택에 대해 $(1 - 1/e)$ 근사 비율을 보장한다.
• 모든 GRF 모델은 억압자 부재(AofS) 조건을 만족하며, 이는 가우시안 프로세스 모델에서 하위모듈라리티를 위한 일반적이고 검증 가능한 조건을 제공한다.
• DBLP 공동저자 그래프에서의 주의적 학습에서 제안된 V-최적성 기준은 상호정보량 증가와 무작위 선택보다 우수하며, 낮은 예측 분산과 높은 분류 정확도를 보인다.
• 위험 $R_s(\mathcal{L}) = \bm{1}^T \tilde{L}^{-1} \bm{1}$ 을 갖는 주의적 설문 문제 역시 하위모듈라리며, 이로 인해 탐욕적 선택을 통한 동일한 $(1 - 1/e)$ 근사 보장을 확보할 수 있다.
• 알고리즘 3는 고유분해를 사전 계산한 상태에서 $R_s(\{v_i\})$ 의 효율적 계산을 가능하게 하여, 각 노드 평가 비용을 $O(N^2)$ 로 감소시킨다.
• DBLP 공동저자 그래프(1711개 노드, 0.3% 간선 밀도)에서의 실증 결과는 120회 반복 동안 V-최적성 기준이 일관된 성능 향상을 보였으며, 평균과 표준편차를 함께 보고하였다.