[논문 리뷰] Efficient PAC Learning from the Crowd

Pranjal Awasthi, Avrim Blum외 2명|arXiv (Cornell University)|2017. 03. 21.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 레이블링과 학습 과정을 통합하여, 예제당 일정한 레이블링 오버헤드를 유지하면서 계산적으로 효율적인 PAC 학습을 위한 새로운 프레임워크를 제안한다. 이는 그래프 기반 모델에서 이견 테스트를 통해 좋은 레이블러를 식별함으로써, 레이블러의 다수만 신뢰 가능하더라도 높은 정확도의 분류를 보장한다.

ABSTRACT

In recent years crowdsourcing has become the method of choice for gathering labeled training data for learning algorithms. Standard approaches to crowdsourcing view the process of acquiring labeled data separately from the process of learning a classifier from the gathered data. This can give rise to computational and statistical challenges. For example, in most cases there are no known computationally efficient learning algorithms that are robust to the high level of noise that exists in crowdsourced data, and efforts to eliminate noise through voting often require a large number of queries per example. In this paper, we show how by interleaving the process of labeling and learning, we can attain computational efficiency with much less overhead in the labeling cost. In particular, we consider the realizable setting where there exists a true target function in $\mathcal{F}$ and consider a pool of labelers. When a noticeable fraction of the labelers are perfect, and the rest behave arbitrarily, we show that any $\mathcal{F}$ that can be efficiently learned in the traditional realizable PAC model can be learned in a computationally efficient manner by querying the crowd, despite high amounts of noise in the responses. Moreover, we show that this can be done while each labeler only labels a constant number of examples and the number of labels requested per example, on average, is a constant. When no perfect labelers exist, a related task is to find a set of the labelers which are good but not perfect. We show that we can identify all good labelers, when at least the majority of labelers are good.

연구 동기 및 목표

• 레이블링과 학습이 분리되어 있는 전통적인 커스텀 기반 학습에서의 계산 비효율성과 높은 레이블링 비용을 해결한다.
• 특히 레이블러의 소수만 신뢰 가능할 경우 발생하는 높은 노이즈 문제를 극복한다.
• 예제당 및 레이블러당 레이블 수를 최소화하면서도 계산 효율성을 유지하는 학습 알고리즘을 설계한다.
• 레이블러의 절반 이상이 양호할 경우, 임의의 노이즈를 갖는 나쁜 레이블러가 존재하더라도 모든 신뢰할 수 있는(좋은) 레이블러를 식별한다.
• 예제당 및 레이블러당 일정한 레이블링 오버헤드를 달성하여 실제 커스텀 기반 환경에서의 확장성과 실용성을 보장한다.

제안 방법

• 레이블러를 노드로, 레이블러 간의 낮은 이견을 간선으로 갖는 그래프로 커뮤니티를 모델링한다.
• 크기 $O(\frac{1}{\epsilon}\ln(\frac{n}{\delta}))$ 의 미레이블된 테스트 세트에서 레이블러 쌍의 이견을 추정하기 위해 레이블러 쌍을 랜덤 샘플링한다.
• Chernoff 부등식을 적용하여 경험적 이견 추정치가 진짜 이견과 높은 확률로 유사하도록 보장한다.
• 예상 이견이 $2.5\epsilon$ 이하인 레이블러 쌍 간에 간선을 추가하여 그래프를 점진적으로 구성한다.
• 크기가 $n/4$ 이상인 연결 요소를 후보 좋은 레이블러 클러스터로 식별한다.
• 큰 컴포넌트의 대표자를 대상으로 이견 테스트를 수행하여, 더 작은 컴포넌트를 더 큰 컴포넌트에 통합하는 추가 검증 단계를 수행한다.

실험 결과

연구 질문

• RQ1 레이블러의 소수만 완벽할 경우, 계산적으로 효율적인 커스텀 기반 PAC 학습을 달성할 수 있는가?
• RQ2 레이블러의 절반 이상이 양호할 경우, 레이블러당 일정한 수의 질의만으로도 모든 좋은 레이블러를 식별할 수 있는가 (오차 $\leq \epsilon$)?
• RQ3 높은 노이즈 조건에서도 실현 가능한 PAC 설정에서 최적의 경우에 비해 예제당 레이블링 비용을 일정한 요소로 줄일 수 있는가?
• RQ4 나쁜 레이블러로부터의 거짓 긍정을 피하면서도 신뢰할 수 있는 좋은 레이블러를 안정적으로 클러스터링할 수 있는 그래프 기반 알고리즘을 어떻게 설계할 수 있는가?
• RQ5 높은 확률로 모든 좋은 레이블러를 식별하기 위해 레이블러당 예상 질의 부하가 얼마인가?

주요 결과

• 레이블러의 절반 이상이 양호하고 오차가 $\epsilon$ 이하일 경우, 제안된 알고리즘은 확률 $1 - \delta$ 로 모든 좋은 레이블러를 식별한다.
• 알고리즘은 좋은 레이블러들이 하나의 크기가 $n/4$ 초과인 큰 컴포넌트에 연결되어 있음을 보장하여 신뢰할 수 있는 식별을 가능하게 한다.
• 레이블러당 예상 레이블 수는 $O\left(\frac{1}{\epsilon}\ln\left(\frac{n}{\delta}\right)\right)$ 이며, 고정된 $\epsilon$ 과 $\delta$ 에 대해 레이블러당 일정하다.
• 예제당 요청하는 총 레이블 수는 일정하며, 실현 가능한 PAC 설정 대비 $O(1)$ 오버헤드를 달성한다.
• 좋은 레이블러가 충분히 많고 정확할 경우, 나쁜 레이블러의 임의의 행동에 대해서도 알고리즘이 강인하다.
• 집중 불등식(Chernoff 부등식)과 무작위 그래프 이론을 활용하여 이론적 보장을 확립하였으며, 높은 확률로 정확한 결과를 보장한다.