[논문 리뷰] Active Learning on Trees and Graphs

Nicolò Cesa‐Bianchi, Claudio Gentile외 2명|arXiv (Cornell University)|2013. 01. 22.

Machine Learning and Algorithms참고 문헌 11인용 수 41

한 줄 요약

이 논문은 트리와 그래프에 대한 효율적인 활성 학습 알고리즘을 제안하며, 최소 컷 기반 분류기를 사용해 전략적으로 쿼리 노드를 선택하여 미쿼리드 노드에서의 예측 실수를 최소화한다. 이 알고리즘은 상수 인자까지 최적의 성능을 달성하며, Q개의 쿼리에 대해 O(n log Q)의 시간 복잡도를 가지며, 스패닝 트리를 통해 일반 그래프로 확장되며, 임의의 그래프에서 어떤 활성 학습 알고리즘도 실수 수에 대한 하한을 제공한다.

ABSTRACT

We investigate the problem of active learning on a given tree whose nodes are assigned binary labels in an adversarial way. Inspired by recent results by Guillory and Bilmes, we characterize (up to constant factors) the optimal placement of queries so to minimize the mistakes made on the non-queried nodes. Our query selection algorithm is extremely efficient, and the optimal number of mistakes on the non-queried nodes is achieved by a simple and efficient mincut classifier. Through a simple modification of the query selection algorithm we also show optimality (up to constant factors) with respect to the trade-off between number of queries and number of mistakes on non-queried nodes. By using spanning trees, our algorithms can be efficiently applied to general graphs, although the problem of finding optimal and efficient active learning algorithms for general graphs remains open. Towards this end, we provide a lower bound on the number of mistakes made on arbitrary graphs by any active learning algorithm using a number of queries which is up to a constant fraction of the graph size.

연구 동기 및 목표

• 고정된 쿼리 예산 하에서, 쿼리되지 않은 노드에서의 실수 수를 최소화하는 트리에 대한 효율적인 활성 학습 알고리즘을 개발한다.
• 트리에서 활성 학습의 쿼리 수와 실수 수 사이의 최적의 트레이드오프를 규명한다.
• 스패닝 트리를 사용하여 트리에서의 결과를 일반 그래프로 확장하면서 이론적 성능 보장을 유지한다.
• 쿼리 집합이 그래프 크기의 일정 비율일 때, 일반 그래프에서 어떤 활성 학습 알고리즘도 반드시 초래해야 할 실수 수의 기본 하한을 설정한다.
• 진짜 컷사이즈 Φ에 대한 사전 지식 없이도, 상수 인자까지 최적인 쿼리 선택 알고리즘이 효율적으로 계산 가능함을 보여준다.

제안 방법

• 알고리즘은 '포크 노드'(이미 존재하는 쿼리 노드로의 간선 분리 경로 수를 증가시키는 노드)를 식별하고 추가하는 탐욕적 반복 쿼리 선택 전략을 사용한다.
• 쿼리 노드로의 연결성 향상을 위한 잠재력을 기반으로 다음 쿼리 노드를 효율적으로 선택하기 위해 우선순위 덱을 유지한다.
• 예측 단계에서는 힌지 트리(1- 및 2-힌지 부분수)의 깊이 우선 탐색을 사용하여 쿼리 노드에서부터 레이블을 전파하고, 각 쿼리되지 않은 노드에 가장 가까운 쿼리 노드의 레이블을 할당한다.
• 전체 그래프에서의 총 컷사이즈를 최소화하기 위해 최소 컷 분류기를 사용하여 쿼리되지 않은 노드의 레이블을 예측한다.
• 트리의 구조적 특성을 활용하여, 쿼리 집합이 실수 수를 줄일 수 있는 능력과 관련된 함수 Ψ(L)를 효율적으로 계산하고 최대화한다.
• 일반 그래프의 경우, 스패닝 트리를 대체로 사용하며, 이론적 분석을 통해 스패닝 트리에서 좋은 쿼리 집합은 특정 조건 하에서 원본 그래프에서도 좋은 성능을 낼 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 고정된 쿼리 예산 하에서, 쿼리되지 않은 노드에서의 실수 수를 최소화하기 위해 쿼리를 트리의 어디에 배치해야 하는가?
• RQ2 활성 학습 알고리즘이 트리에서 쿼리 수와 예측 실수 수 사이의 최적 트레이드오프를 달성할 수 있는가?
• RQ3 트리에서의 결과를 스패닝 트리를 사용하여 일반 그래프로 어떻게 확장할 수 있는가?
• RQ4 쿼리 집합이 정점 수의 일정 비율일 때, 일반 그래프에서 어떤 활성 학습 알고리즘도 반드시 겪어야 할 실수 수의 기본 하한은 무엇인가?
• RQ5 트리에서 Ψ(L)를 상수 인자까지 최대화하는 쿼리 집합을 효율적으로 계산할 수 있는가?

주요 결과

• 제안된 쿼리 선택 알고리즘은 n개 노드의 트리에서 Q개의 쿼리에 대해 O(n log Q) 시간에 실행되어 매우 효율적이다.
• 진짜 컷사이즈 Φ에 대한 사전 지식 없이도, 알고리즘은 쿼리되지 않은 노드에서의 실수 수를 상수 인자까지 최적화하는 성능을 달성한다.
• 쿼리 선택 알고리즘과 함께 최소 컷 분류기를 사용할 경우, 실수 수는 Φ/Ψ(L) 이하로 제한되며, 이 하한은 상수 인자까지 날카롭게 유지된다.
• 알고리즘의 수정된 버전은 고정된 쿼리 예산 없이도 트리에서 쿼리 수와 실수 수 사이의 최적 트레이드오프를 상수 인자까지 달성한다.
• 일반 그래프의 경우, 논문은 쿼리 집합 크기가 그래프 크기의 일정 비율 이하일 때, 어떤 활성 학습 알고리즘도 효과적 저항에 의해 가중된 컷사이즈의 일정 비율 이상의 실수를 반드시 겪어야 한다는 하한을 설정한다.
• 결과는 스패닝 트리를 사용해 알고리즘을 일반 그래프로 확장할 수 있지만, 스패닝 트리의 선택이 성능에 크게 영향을 미칠 수 있으며, 무작위 스패닝 트리는 클러스터 구조를 유지하지 못할 수 있음을 시사한다.