[논문 리뷰] Automated Concatenation of Embeddings for Structured Prediction

Xinyu Wang, Yong Jiang외 5명|arXiv (Cornell University)|2020. 10. 10.

Topic Modeling참고 문헌 96인용 수 17

한 줄 요약

이 논문은 구조적 예측 작업을 위한 사전 훈련된 임베딩 조합을 자동으로 발견하는 강화학습 기반 방법인 자동 임베딩 결합(Automated Concatenation of Embeddings, ACE)을 제안한다. 임베딩 결합을 신경망 아키텍처 탐색 문제로 공식화함으로써, ACE는 단일 GPU에서 몇 시간 내에 몇 가지 GPU 시간만으로 6개의 작업과 21개의 데이터셋에서 강력한 베이스라인을 능가하고 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Pretrained contextualized embeddings are powerful word representations for structured prediction tasks. Recent work found that better word representations can be obtained by concatenating different types of embeddings. However, the selection of embeddings to form the best concatenated representation usually varies depending on the task and the collection of candidate embeddings, and the ever-increasing number of embedding types makes it a more difficult problem. In this paper, we propose Automated Concatenation of Embeddings (ACE) to automate the process of finding better concatenations of embeddings for structured prediction tasks, based on a formulation inspired by recent progress on neural architecture search. Specifically, a controller alternately samples a concatenation of embeddings, according to its current belief of the effectiveness of individual embedding types in consideration for a task, and updates the belief based on a reward. We follow strategies in reinforcement learning to optimize the parameters of the controller and compute the reward based on the accuracy of a task model, which is fed with the sampled concatenation as input and trained on a task dataset. Empirical results on 6 tasks and 21 datasets show that our approach outperforms strong baselines and achieves state-of-the-art performance with fine-tuned embeddings in all the evaluations.

연구 동기 및 목표

• 구조적 예측 작업을 위한 다양한 사전 훈련된 임베딩 조합을 수동으로 선택하는 데 도전하는 것.
• 하류 작업 모델을 재훈련할 필요 없이 효과적인 임베딩 결합을 자동으로 탐색하는 것.
• 지수적으로 증가하는 임베딩 조합을 전수 조사하는 데 드는 계산 부담을 줄이는 것.
• 강화학습을 통해 작업별 최적의 임베딩 앙상블을 학습하여 구조적 예측 성능을 향상시키는 것.
• 기존의 베이스라인과 앙상블 방법을 능가하는 효율적이고 확장 가능하며 실용적인 임베딩 조합 방법을 설계하는 것.

제안 방법

• ACE는 컨트롤러가 효과적인 임베딩 조합을 샘플링할 수 있도록, 임베딩 결합 문제를 신경망 아키텍처 탐색(NAS) 문제로 설정한다.
• 컨트롤러는 윌리엄스(1992)가 제안한 정책 기반 강화학습 알고리즘을 사용하여, 개별 임베딩 유형의 효과성에 대한 믿음을 업데이트한다.
• 보상은 샘플된 결합된 임베딩으로 훈련된 작업 모델의 정확도에서 계산되며, 이는 컨트롤러의 정책을 개선하기 위한 피드백을 제공한다.
• 새로운 보상 함수는 현재와 이전에 샘플된 결합 간의 변환을 측정하여 성능 향상을 누적함으로써 샘플 효율성을 향상시킨다.
• 검색 공간은 RNN을 사용하지 않고 직접 임베딩 결합을 생성하도록 설계되어 더 빠르고 해석이 쉬운 검색을 가능하게 한다.
• 이 방법은 효율적으로 작동하며, 작업당 몇 시간 내에 GPU를 사용하고, 검색 중 하류 작업 모델을 재훈련할 필요가 없다.

실험 결과

연구 질문

• RQ1 강화학습이 구조적 예측 작업을 위한 최적의 임베딩 조합 선택을 효과적으로 자동화하는 데 적용될 수 있는가?
• RQ2 ACE는 성능과 효율성 측면에서 강력한 베이스라인 및 앙상블 방법과 비교해 어떻게 성과를 내는가?
• RQ3 이름표시된 엔터티 추출(NER), 품사 태깅, 파싱과 같은 다양한 구조적 예측 작업에 가장 효과적인 임베딩 유형과 조합은 무엇인가?
• RQ4 ACE는 하류 작업 모델을 재훈련하지 않고도 최신 기술 수준 성능을 달성하는가?
• RQ5 보상 함수의 설계가 검색 과정의 효율성과 효과성에 어떤 영향을 미치는가?

주요 결과

• ACE는 21개의 데이터셋을 포함한 6개의 구조적 예측 작업—이름표시된 엔터티 추출, 품사 태깅, 채킹, 측면 추출, 문법적 의존성 파싱, 의미적 의존성 파싱—에서 최신 기술 수준 성능을 달성한다.
• NER 작업에서 ACE+Fine-tune는 다국어 TB-v2 데이터셋에서 95.8% F1을 기록하여 XLM-R+Fine-tune(95.4%)와 RoBERTa+Fine-tune(95.4%)를 모두 능가했다.
• 의존성 파싱 작업에서 ACE+Fine-tune는 PTB 데이터셋에서 UAS 97.2%와 LAS 95.7%를 달성하여 BERT+Fine-tune(96.6% UAS)와 XLNET+Fine-tune(97.0% UAS)를 초월했다.
• 측면 추출 작업에서 ACE+Fine-tune는 터키어 데이터셋에서 F1 81.9%를 기록하여 XLM-R+Fine-tune(74.1%)와 XLNET+Fine-tune(74.4%)를 능가했다.
• 이 방법은 매우 효율적이며, 작업당 몇 시간 내에 GPU를 사용하는 데 그치며, 일반적으로 수백~수천 시간이 소요되는 NAS 방법과 대비된다.
• 분석 결과, BERT는 문법적 순서 기반 구조 작업에서 일관되게 선택되며, 다국어 NER에서는 다국어 M-BERT가 선호되고, XLM-R은 다국어 작업에서 단일 언어 순서 기반 작업보다 더 자주 사용된다.