[논문 리뷰] Stopping criterion for active learning based on deterministic generalization bounds

Hideaki Ishibashi, Hideitsu Hino|arXiv (Cornell University)|2020. 05. 15.

Machine Learning and Algorithms참고 문헌 29인용 수 8

한 줄 요약

이 논문은 활성 학습을 위한 새로운 태스크에 종속되지 않는 멈춤 기준을 제안한다. 이 기준은 각 새로운 학습 샘플 추가 후 일반화 오차의 변화에 대한 결정론적 PAC-Bayesian 상한을 사용한다. 이 상한을 런스 검정과 조합함으로써, 성능 향상이 통계적으로 유의미하지 않아지면 자동으로 학습을 중단하게 되며, 이는 레이블이 부여된 테스트 데이터가 필요 없이도 테스트 세트 기반 방법과 유사하거나 뛰어난 멈춤 정확도를 달성한다.

ABSTRACT

Active learning is a framework in which the learning machine can select the samples to be used for training. This technique is promising, particularly when the cost of data acquisition and labeling is high. In active learning, determining the timing at which learning should be stopped is a critical issue. In this study, we propose a criterion for automatically stopping active learning. The proposed stopping criterion is based on the difference in the expected generalization errors and hypothesis testing. We derive a novel upper bound for the difference in expected generalization errors before and after obtaining a new training datum based on PAC-Bayesian theory. Unlike ordinary PAC-Bayesian bounds, though, the proposed bound is deterministic; hence, there is no uncontrollable trade-off between the confidence and tightness of the inequality. We combine the upper bound with a statistical test to derive a stopping criterion for active learning. We demonstrate the effectiveness of the proposed method via experiments with both artificial and real datasets.

연구 동기 및 목표

• 테스트 데이터나 태스크에 종속된 임계값에 의존하지 않는 활성 학습 멈춤 기준을 개발하는 것.
• 테스트 데이터가 부족하거나 이용할 수 없는 고비용 레이블링 환경에서 활성 학습을 언제 멈출 것인지 결정하는 문제를 해결하는 것.
• 계산적으로 효율적이고 통계적으로 타당한 이론적으로 기반된, 보편적으로 적용 가능한 멈춤 규칙을 제공하는 것.
• 스토케스틱 PAC-Bayesian 상한에서 발생하는 신뢰도와 날카움의 상충 관계를 제거하기 위해 결정론적 상한을 유도하는 것.
• 최소한의 계산 오버헤드와 하이퍼파라미터 튜닝이 필요 없이 자동이고 신뢰할 수 있는 활성 학습 종료를 가능하게 하는 것.

제안 방법

• PAC-Bayesian 이론을 사용하여 새로운 학습 샘플을 추가하기 전과 이후의 기대 일반화 오차의 차이에 대한 새로운 결정론적 상한을 유도한다.
• 학습 샘플 간의 독립성을 가정하지 않기 때문에 일반적인 학습 환경에 적용 가능하다.
• 성능 변화의 통계적 유의미성을 감지하기 위해 이 상한을 런스 검정과 조합함으로써 자동 멈춤을 가능하게 한다.
• 분리된 테스트 세트에 의존하지 않고 오직 학습 데이터만을 사용하여 기대 일반화 오차의 격차를 평가한다.
• 모델과 손실 함수에 관계없이 일반화 가능하며, 가우스 프로세스 회귀를 사례 연구로 활용한다.
• 성능 향상이 무작위일 것이라는 귀무가설을 런스 검정이 기각하지 못할 경우에 멈춤 결정을 내리며, 수렴을 나타낸다.

실험 결과

연구 질문

• RQ1 레이블이 부여된 테스트 데이터나 태스크에 종속된 임계값이 필요 없는 활성 학습 멈춤 기준을 개발할 수 있는가?
• RQ2 기존 상한의 신뢰도-날카움 상충 관계를 피할 수 있는 결정론적 PAC-Bayesian 상한을 도출할 수 있는가?
• RQ3 오직 학습 데이터와 통계적 검정만을 사용하여 활성 학습의 수렴을 자동으로 감지할 수 있는가?
• RQ4 정지 정확도 측면에서 기존 방법들인 교차 검증, PAC-Bayesian 상한, 분산 기반 기준과 비교했을 때 제안된 기준은 어떻게 성능을 내는가?
• RQ5 저비용의 계산 비용을 유지하면서도 정지 시점의 높은 신뢰성을 확보할 수 있는가?

주요 결과

• 제안된 방법은 여섯 개 데이터셋 중 네 개에서 평균 정지 시간 오차(e_stop)가 가장 작았으며, 각각 airfoil(2.38±0.58), power plant(13.52±1.05), protein(27.89±2.34), concrete(15.83±1.28)였다.
• 요트 데이터셋에서는 16.33±1.28을 기록하여, 기준값을 제외한 모든 베이스라인을 능가했다.
• PAC-Bayesian 기준은 학습 오차에 의존하고 스토케스틱 상한을 사용함으로써 성능이 열악했으며, 자주 너무 이르게나 너무 늦게 멈추는 경향이 있었다.
• 교차 검증 방법은 데이터 분할으로 인한 데이터 가용성 감소로 인해 정확도가 떨어지는 테스트 오차 추정을 겪었다.
• 최대 분산 기준은 직관적으로는 타당했지만, 제안된 방법에 비해 떨어졌으며, 모델의 시간에 따른 발산을 더 잘 포착했다.
• 제안된 방법은 인공적이고 실제 세계 데이터를 포함한 다양한 데이터셋에서 뛰어난 안정성과 일관성 있는 정지 성능을 보이며 강건성을 입증했다.