[논문 리뷰] Exemplar Guided Active Learning

Jason Hartford, Kevin Leyton‐Brown외 4명|arXiv (Cornell University)|2020. 11. 02.

Natural Language Processing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 예시 기반 활성 학습(EGAL)을 제안하며, 사전에 트레이닝된 언어 모델의 문맥 임베딩을 사용하여 극도로 불균형한 데이터셋에서 희귀어의 의미를 효율적으로 식별하고, 레이블링을 중단하기 위한 통계적 정지 규칙을 적용한다. 이는 진짜 레이블 빈도를 알고 있는 오라클에 비해 로그 수준의 오버헤드를 가지며, 표준 활성 학습 대비 최대 50%의 레이블링 비용 절감을 달성한다.

ABSTRACT

We consider the problem of wisely using a limited budget to label a small subset of a large unlabeled dataset. We are motivated by the NLP problem of word sense disambiguation. For any word, we have a set of candidate labels from a knowledge base, but the label set is not necessarily representative of what occurs in the data: there may exist labels in the knowledge base that very rarely occur in the corpus because the sense is rare in modern English; and conversely there may exist true labels that do not exist in our knowledge base. Our aim is to obtain a classifier that performs as well as possible on examples of each "common class" that occurs with frequency above a given threshold in the unlabeled set while annotating as few examples as possible from "rare classes" whose labels occur with less than this frequency. The challenge is that we are not informed which labels are common and which are rare, and the true label distribution may exhibit extreme skew. We describe an active learning approach that (1) explicitly searches for rare classes by leveraging the contextual embedding spaces provided by modern language models, and (2) incorporates a stopping rule that ignores classes once we prove that they occur below our target threshold with high probability. We prove that our algorithm only costs logarithmically more than a hypothetical approach that knows all true label frequencies and show experimentally that incorporating automated search can significantly reduce the number of samples needed to reach target accuracy levels.

연구 동기 및 목표

• 희귀의미가 부족하고 표준 활성 학습이 실패하는 극도의 클래스 불균형 상황에서 어휘의 의미 해석 데이터셋을 레이블링하는 데 도전하는 것.
• 진짜 빈도를 사전에 알지 못한 상태에서 사전에 트레이닝된 언어 모델의 문맥 임베딩을 사용해 희귀어의 의미를 식별하는 방법을 개발하는 것.
• 희귀의미의 진짜 빈도가 목표 빈도 임계값 γ 이하임을 높은 확률로 증명할 수 있는 정지 규칙을 설계하는 것.
• 희귀의미나 존재하지 않는 의미에 대한 레이블링 노력 최소화와 동시에 일반의미에 대한 균형 잡힌 레이블링을 유지하는 것.
• 새로운, 극도로 불균형한 레딧 기반 어휘의미해석 데이터셋에서 방법을 평가하는 것.

제안 방법

• 사전에 트레이닝된 언어 모델의 임베딩을 활용해 단어의 문맥에서 각 후보 의미의 예시를 찾고, 임베딩 공간에서 국소적 검색을 가능하게 한다.
• 공통의미와 희귀의미를 구분하기 위해 빈도 임계값 γ를 정의하며, 공통의미는 균형 잡힌 레이블링이 필요하다.
• 중요도 가중 샘플링 기반의 통계적 정지 규칙을 사용해, 의미의 진짜 빈도가 γ 이하임을 높은 신뢰도로 증명한다.
• 공통의미가 식별되고 레이블링된 후에는 예시 기반 검색에서 불확실성 기반 활성 학습으로 전환한다.
• 임베딩을 사용해 각 의미의 예시를 검색함으로써 가이드드 러닝 과정을 자동화하여 레이블러의 수동 검색을 제거한다.
• 임베딩 이웃에서 중요도 가중 샘플을 사용해 온라인으로 레이블 빈도 ˆpy를 추정함으로써 실시간 정지 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 희귀의미의 진짜 빈도를 사전에 알지 못한 채, 대규모 레이블링되지 않은 코퍼스에서 희귀어의 의미를 효율적으로 발견할 수 있는가?
• RQ2 극도로 불균형한 데이터셋에서 공통의미의 균형 잡힌 커버리지 확보를 위해 레이블링 비용을 어떻게 줄일 수 있는가?
• RQ3 후보 레이블 세트가 잘못 지정되어 있어도, 희귀의미를 신뢰성 있게 식별하고 최소한의 레이블링으로 제거할 수 있는 정지 규칙는 무엇인가?
• RQ4 임베딩 공간에서의 예시 기반 검색은 정확도와 샘플 효율성 측면에서 수동 검색에 비해 어떻게 비교되는가?
• RQ5 극도의 불균형 상황에서 표준 활성 학습 대비 제안된 방법이 레이블링 비용을 얼마나 줄이는가?

주요 결과

• EGAL 알고리즘은 극도로 불균형한 어휘의미해석 작업에서 표준 활성 학습 대비 최대 50%의 레이블링 비용 절감을 달성한다.
• 정지 규칙은 높은 확신으로 희귀의미를 성공적으로 식별하고 제외하여, 희귀 클래스 탐지에서 잘못된 양성 결과를 방지함으로써 불필요한 레이블링을 줄인다.
• 진짜 레이블 빈도를 모두 알고 있는 오라클에 비해 오직 로그 수준의 오버헤드만을 가지며, 거의 최적의 성능를 달성한다.
• 새로운 레딧 기반 어휘의미해석 데이터셋에서, EGAL은 경쟁 방법들보다 더 낮은 레이블링 예산으로도 공통의미에 대해 더 높은 평균 클래스 커버리지를 달성한다.
• 문맥 임베딩의 사용은 공통의미보다 수십만 배나 빈도가 낮은 의미라도 효과적인 검색을 가능하게 한다.
• 예시 기반 검색과 불확실성 기반 활성 학습을 조합한 하이브리드 접근 방식이 극도의 불균형 상황에서 순수 활성 학습이나 가이드드 러닝보다 우수한 성능을 발휘한다.