[논문 리뷰] Multi-Domain Active Learning: Literature Review and Comparative Study

Rui He, Shengcai Liu외 2명|arXiv (Cornell University)|2021. 06. 25.

Machine Learning and Algorithms인용 수 5

한 줄 요약

이 논문은 여섯 개인 다중도메인 학습(MDL) 모델과 다섯 가지 활성 학습(AL) 전략을 조합하여 다중도메인 활성 학습(MDAL)을 위한 종합적인 파이프라인을 제안한다. 이는 여섯 개인 텍스트 및 시각적 데이터셋에서 30개의 알고리즘 조합을 평가한다. 주요 발견은 단순한 BvSB(최고 대비 두 번째 최고) 불확실성 전략이 최신 기술 수준의 AL 방법과 경쟁 가능하며, MAN(다항식 적대적 네트워크) 모델과 조합된 BvSB는 모든 데이터셋에서 일관되게 최상 또는 평균 이상의 성능을 기록한다.

ABSTRACT

Multi-domain learning (MDL) refers to learning a set of models simultaneously, where each model is specialized to perform a task in a particular domain. Generally, a high labeling effort is required in MDL, as data needs to be labeled by human experts for every domain. Active learning (AL) can be utilized in MDL to reduce the labeling effort by only using the most informative data. The resultant paradigm is termed multi-domain active learning (MDAL). In this work, we provide an exhaustive literature review for MDAL on the relevant fields, including AL, cross-domain information sharing schemes, and cross-domain instance evaluation approaches. It is found that the few studies which have been directly conducted on MDAL cannot serve as off-the-shelf solutions on more general MDAL tasks. To fill this gap, we construct a pipeline of MDAL and present a comprehensive comparative study of thirty different algorithms, which are established by combining six representative MDL models and five commonly used AL strategies. We evaluate the algorithms on six datasets involving textual and visual classification tasks. In most cases, AL brings notable improvements to MDL, and the naive BvSB (best vs. second best) Uncertainty strategy can perform competitively with the state-of-the-art AL strategies. Besides, BvSB with the MAN (multinomial adversarial networks) model can consistently achieve top or above-average performance on all the datasets. Furthermore, we qualitatively analyze the behaviors of the well-performed strategies and models, shedding light on their superior performance in the comparison. Finally, we recommend using BvSB with the MAN model in the application of MDAL due to their good performance in the experiments.

연구 동기 및 목표

• 다중도메인 학습(MDL)에서의 높은 레이블링 비용 문제를 해결하기 위해 활성 학습(AL)을 통합하여 인간의 주석 작업을 줄이기 위해.
• 일반적인 MDAL 작업을 위한 광범위한 적용이 가능한 MDL 모델과 AL 전략의 조합을 규명하기 위해.
• 현대적인 신경망 기반 MDL 모델과 전통적인 AL 전략을 지원하는 표준화되고 재사용 가능한 MDAL 파이프라인을 제공하기 위해.
• 다양한 데이터셋과 작업에서 다양한 MDAL 구성의 성능을 경험적으로 평가하고 비교하기 위해.

제안 방법

• 여섯 가지 대표적인 MDL 모델(예: MAN, SDL-joint, PACs)과 다섯 가지 일반적인 AL 전략(예: 불확실성, BADGE, 무작위)을 통합한 모듈식 MDAL 파이프라인을 구축한다.
• 도메인별 및 도메인 공유 특징 학습을 가능하게 하기 위해 MDL 모델에서 공유-개별 아키텍처를 사용하여 일반화 및 강인성을 향상시킨다.
• 풀 기반 활성 학습을 적용하여 모델이 불확실성, 다양성 또는 질의 전략에 기반해 풀에서 가장 정보가 많은 인스턴스를 선택하도록 한다.
• 선택 과정 중에 배치의 다양성과 모델 행동을 분석하기 위해 기울기 기반 임bedding과 k-means 군집화와 같은 인덕티브 바이어스를 활용한다.
• 선택된 인스턴스의 내부 배치 다양성을 평가하기 위해 최적의 군집 수(k)를 결정하기 위해 팔꿈치 방법을 사용한다.
• 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련하고, 도메인 내 및 도메인 외 작업에서 표준 지표(예: 정확도)를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 텍스트 및 시각적 다중도메인 분류 작업에서 MDL 모델과 AL 전략의 다양한 조합은 어떻게 성능을 내는가?
• RQ2 BvSB(최고 대비 두 번째 최고)와 같은 단순한 불확실성 기반 AL 전략이 MDAL 환경에서 더 복잡한 최신 기술 수준의 AL 방법보다 뛰어나게 성능을 내는가?
• RQ3 MDL 모델과 AL 전략의 어떤 구조적 및 행동적 특성이 다양한 도메인 간 일반화 및 강인성을 향상시키는가?
• RQ4 MDAL에서 내재된 배치 내 다양성이 단일 도메인 활성 학습에서 흔히 볼 수 있는 중복 문제를 어느 정도 완화하는가?
• RQ5 도메인 갈등과 모델 초기화는 MDAL에서 공동 훈련 대비 도메인별 학습의 성능에 어떤 영향을 미치는가?

주요 결과

• 단순한 BvSB(최고 대비 두 번째 최고) 불확실성 전략은 여섯 개의 모든 데이터셋에서 최신 기술 수준의 AL 전략과 경쟁 가능하며, 자주 최상 또는 근접한 성능을 기록한다.
• BvSB 불확실성 전략과 MAN(다항식 적대적 네트워크) 모델의 조합은 모든 데이터셋에서 일관되게 최상 또는 평균 이상의 성능을 기록하여 강인성과 일반화 능력을 입증한다.
• MAN 모델의 공유-개별 아키텍처는 그 뛰어난 성능의 핵심 요인으로, 효과적인 도메인별 및 도메인 공유 표현 학습을 가능하게 한다.
• BvSB 및 BADGE 전략에서 선택된 인스턴스의 내부 배치 다양성이 랜덤 선택보다 유의미하게 높으며, BvSB는 높은 다양성으로 알려진 BADGE와 유사한 수준의 다양성을 보여준다.
• 불확실성 전략의 일반적인 약점인 유사한 인스턴스의 중복 선택 문제는 다중도메인 환경에서 여러 도메인으로 인해 증가한 내부 배치 다양성 덕분에 완화된다.
• SDL-joint는 공동 훈련의 이점 덕분에 Digits 데이터셋에서 가장 우수한 성능을 보였지만, 도메인 갈등이 존재하거나 강력한 사전학습이 사용될 경우 성능이 저하되어 충돌 레이블을 다루는 데서의 한계를 드러낸다.