[논문 리뷰] S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification

Gautam Dasarathy, Robert D. Nowak외 1명|arXiv (Cornell University)|2015. 06. 29.

Machine Learning and Algorithms참고 문헌 16인용 수 11

한 줄 요약

이 논문은 결정 경계가 박자수 클래스에 속하는 비모수적 분류 문제에서 거의 최소 최대 최적 초과 위험을 달성하는 새로운 그래프 기반 주동 학습 알고리즘 S²을 제안한다. S²는 임의의 반대 색상 레이블을 가진 정점 쌍 사이의 최단 경로의 중점을 찾아 레이블링할 미레이블링된 정점을 선택한다. 이 알고리즘은 실제 및 합성 데이터 세트에서 강력한 이론적 보장과 실용적 성능을 동시에 확보한다.

ABSTRACT

This paper investigates the problem of active learning for binary label prediction on a graph. We introduce a simple and label-efficient algorithm called S2 for this task. At each step, S2 selects the vertex to be labeled based on the structure of the graph and all previously gathered labels. Specifically, S2 queries for the label of the vertex that bisects the *shortest shortest* path between any pair of oppositely labeled vertices. We present a theoretical estimate of the number of queries S2 needs in terms of a novel parametrization of the complexity of binary functions on graphs. We also present experimental results demonstrating the performance of S2 on both real and synthetic data. While other graph-based active learning algorithms have shown promise in practice, our algorithm is the first with both good performance and theoretical guarantees. Finally, we demonstrate the implications of the S2 algorithm to the theory of nonparametric active learning. In particular, we show that S2 achieves near minimax optimal excess risk for an important class of nonparametric classification problems.

연구 동기 및 목표

• 레이블링이 비용이 많이 드는 그래프에서 이진 레이블 예측을 위한 주동 학습에서 쿼리 비용을 최소화하는 문제를 해결하기 위해.
• 이론적 성능 보장을 갖추고도 강력한 실험적 성능을 보이는 실용적인 주동 학습 알고리즘을 개발하기 위해.
• 이론적으로 최적이지만 실용적이지 않은 주동 학습 방법과 Zhu 등(2003b)과 같은 경험적으로 효과적이지만 보장이 없는 접근 방식 사이의 격차를 메우기 위해.
• 단순히 컷 크기 이상의 내재된 난이도를 반영하는 새로운 복잡도 측정 기준을 도입하기 위해.
• S²가 비모수적 분류 문제의 광범위한 클래스에서 거의 최소 최대 최적 초과 위험을 달성할 수 있음을 보여주기 위해.

제안 방법

• S²는 그래프 내에서 반대 색상 레이블을 가진 임의의 정점 쌍 사이의 최단 경로의 중점을 레이블링할 정점으로 선택한다.
• 알고리즘은 그래프의 구조와 점진적으로 변화하는 레이블링 패tern에 동적으로 적응하며, 결정 경계가 가장 불확실한 영역에 집중한다.
• 경계 학습의 난이도를 측정하는 데 사용되는, 컷셋의 군집화와 분포를 기반으로 한 새로운 복잡도 매개변수화 방식을 사용한다.
• 이론적 분석을 통해 이 복잡도 측정 기준을 사용하여 S²가 요구하는 쿼리 수의 상한을 도출하였으며, 정규성 조건 하에서 쿼리 효율성을 보여준다.
• 최단 경로 계산과 그래프 순회를 활용하여 전체 레이블링에 대한 사전 지식 없이도 정보가 풍부한 정점을 효율적으로 식별한다.
• 알고리즘은 합성 격자와 실제 데이터(숫자, 투표 기록)에 적용되었으며, 경계 집합을 커버하기 위해 필요한 쿼리 수를 통해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 그래프 기반 주동 학습 알고리즘이 강력한 실험적 성능와 함께 이론적 쿼리 복잡도 보장을 동시에 달성할 수 있는가?
• RQ2 컷셋의 군집화는 그래프에서 이진 레이블링을 학습하는 데 있어 난이도에 어떤 영향을 미치는가?
• RQ3 실용적인 주동 학습 알고리즘이 비모수적 분류 문제에서 거의 최소 최대 최적 초과 위험을 달성할 수 있는가?
• RQ4 실제 및 합성 그래프에서 기존 방법들인 AFS, ZLG, BND와 비교할 때 S²의 쿼리 효율성은 어떠한가?
• RQ5 결정 경계의 기하학적 구조와 그것을 학습하기 위해 필요한 쿼리 수 사이의 관계는 무엇인가?

주요 결과

• S²는 15×15 격자와 숫자, 투표 기록과 같은 실제 데이터 세트를 포함한 모든 테스트 데이터 세트에서 AFS와 BND보다 뛰어난 쿼리 복잡도를 보였다.
• 15×15 격자 그래프에서 S²는 경계를 커버하기 위해 평균 88.8개의 쿼리만 필요로 했으며, AFS는 160.4개, BND는 192개였다.
• 400노드의 4 vs 9 숫자 분류 작업에서는 S²가 96.4개의 쿼리를 요구했고, AFS(223.2)와 BND(370.2)를 모두 앞섰다.
• 높은 경계 크기를 가진 457코어 격자에서는 S²가 290.6개의 쿼리를 사용했으며, ZLG(292.3)를 약간 앞서는 성능을 보였다. 다만 ZLG는 이 목적을 위해 설계된 것은 아니다.
• 이론적 분석 결과, S²는 최대 $ C\left(\frac{\log n}{n}\right)^{\frac{1}{d-1}} $의 초과 위험을 달성하며, 이는 박자수 클래스의 결정 경계에 대해 거의 최소 최대 최적이다.
• S²는 결정 경계가 박자수 클래스에 속하는 비모수적 분류 문제에서 최소 최대 최적(로그 인자 수준 이하) 초과 위험을 달성하는 최초의 실용적 알고리즘이다.