[논문 리뷰] Active Learning Over Multiple Domains in Natural Language Tasks

Shayne Longpre, Julia Reisler외 5명|arXiv (Cornell University)|2022. 02. 01.

Machine Learning and Algorithms인용 수 6

한 줄 요약

이 논문은 다중 도메인 자연어 처리 작업에서, 레이블이 없는 데이터가 다수의 도메인 외부 소스에서 온 경우의 주동 학습을 조사한다. $χ$-Divergence 가족 내에서 제안된 DAL-E 할당 함수는 도메인 간에 다양하고 유틸리티가 높은 예제를 효과적으로 선택하여 랜덤 기반보다 평균 2-3% 향상된 성능을 달성한다.

ABSTRACT

Studies of active learning traditionally assume the target and source data stem from a single domain. However, in realistic applications, practitioners often require active learning with multiple sources of out-of-distribution data, where it is unclear a priori which data sources will help or hurt the target domain. We survey a wide variety of techniques in active learning (AL), domain shift detection (DS), and multi-domain sampling to examine this challenging setting for question answering and sentiment analysis. We ask (1) what family of methods are effective for this task? And, (2) what properties of selected examples and domains achieve strong results? Among 18 acquisition functions from 4 families of methods, we find H-Divergence methods, and particularly our proposed variant DAL-E, yield effective results, averaging 2-3% improvements over the random baseline. We also show the importance of a diverse allocation of domains, as well as room-for-improvement of existing methods on both domain and example selection. Our findings yield the first comprehensive analysis of both existing and novel methods for practitioners faced with multi-domain active learning for natural language tasks.

연구 동기 및 목표

• 다양한 도메인 외부 소스에서 온 레이블이 없는 데이터를 다루는 현실적인 NLP 설정에서 주동 학습의 과제를 해결한다.
• 기존 주동 학습 가정(예: 단일 도메인 데이터)이 다중 도메인, 분포 이탈 환경에서는 유지되는지 조사한다.
• 다중 도메인 주동 학습에서 불확실성, 도메인 분포 이탈 탐지, 유사도 기반 방법 등 다양한 할당 함수의 효과를 평가한다.
• 다중 도메인 주동 학습에서 도메인 예산 할당 전략과 단일 풀 선택 전략 중 어느 것이 더 높은 성능을 낼 수 있는지 규명한다.
• 실무자들이 효과적인 할당 함수를 선택하고 도메인 및 예제 선택을 균형 있게 조절할 수 있도록 실질적인 통찰을 제공한다.

제안 방법

• 불확실성 기반, $χ$-Divergence, 역 분류 정확도(RCA), 의미적 유사도 탐지의 네 가지 방법 계열에서 총 18개의 할당 함수를 벤치마킹한다.
• 모델의 도메인 간 불일치를 측정하고 불확실성을 줄이며 다양성을 증진하는 예제를 우선순위로 정하는 새로운 변종인 DAL-E를 $χ$-Divergence 계열 내에서 구현한다.
• 두 가지 선택 전략을 비교한다: 단일 풀(모든 예제를 하나의 레이블 없음 풀로 간주) 및 도메인 예산 할당(각 도메인에 고정된 수의 예제를 할당).
• 각 주동 학습 반복 후 질문 응답 및 감성 분석 작업에서 모델 성능을 평가하기 위해 고정된(annotation) 예산을 사용한다.
• 최적의 도메인 검색 실험을 수행하여 각 목표 작업에 가장 적합한 예제 분포를 특정한다.
• 예제 선택의 영향을 평가하기 위해 DAL-E*에 의해 상위 순위가 매겨진 예제로 훈련된 모델과 동일한 도메인에서 무작위 선택된 예제로 훈련된 모델을 비교한다.

실험 결과

연구 질문

• RQ1 다중 도메인 NLP 작업에서 주동 학습에 가장 잘 작동하는 할당 함수 계열은 무엇인가?
• RQ2 다중 도메인 주동 학습에서 모델 성능 향상에 기여하는 선택된 예제와 도메인의 특성은 무엇인가?
• RQ3 다중 도메인 주동 학습에서 도메인 예산 할당 전략이 단일 풀 선택 전략보다 더 효과적인가?
• RQ4 도메인 내 예제 선택은 도메인 선택 외에 성능 향상에 얼마나 기여하는가?
• RQ5 최적의 도메인 분포를 미리 특정할 수 있는가? 이를 통해 주동 학습 결과를 향상시킬 수 있는가?

주요 결과

• $χ$-Divergence 할당 함수 계열, 특히 제안된 DAL-E 변종은 여러 NLP 작업에서 랜덤 기반보다 평균 2-3% 향상된 성능을 보이며 일관되게 뛰어난 성능을 보였다.
• 도메인 다양성은 핵심 요소이다: 다양한 소스 도메인을 선택할 경우 단일 또는 소수의 도메인에 의존하는 것보다 더 강력한 성능을 달성한다.
• 예제 선택이 매우 중요하다: DAL-E*에 의해 상위 순위가 매겨진 예제로 훈련된 모델은 질문 응답 작업에서 평균 +0.46% 향상되었고, 감성 분석 작업에서는 +0.12% 향상되었다.
• 나쁜 예제 선택은 성능 저하를 초래한다: DAL-E*에 의해 하위 순위가 매겨진 예제로 훈련된 모델은 질문 응답 작업에서 평균 -1.64% 향상되었고, 감성 분석 작업에서는 -1.46% 향상되었다.
• 도메인 예산 할당 전략은 단일 풀 선택 전략을 능가할 수 있다: 14개 실험 중 8개에서 최적의 도메인 분포에 따라 무작위 샘플링이 모든 주동 학습 기반선을 뛰어넘었다.
• 최적의 도메인 분포는 사전에 알려져 있지 않았으며, 이는 향후 할당 함수가 이러한 분포를 더 정확히 예측하도록 개선될 수 있음을 시사한다.