[논문 리뷰] DARE: Data Augmented Relation Extraction with GPT-2

Yannis Papanikolaou, Andrea Pierleoni|arXiv (Cornell University)|2020. 04. 06.

Topic Modeling참고 문헌 28인용 수 16

한 줄 요약

DARE는 관계 추출을 위한 데이터 증강 방법을 제안하며, GPT-2를 각 관계 유형별로 미세조정하여 합성 훈련 예제를 생성하고, 이를 실제 데이터와 조합하여 BERT 기반 분류기를 미세조정한다. 이 방법은 강력한 기준 모델 대비 최대 11 F1 점수 향상을 달성하며, 세 가지 생물의학적 관계 추출 벤치마크에서 새로운 최고 성능을 기록한다.

ABSTRACT

Real-world Relation Extraction (RE) tasks are challenging to deal with, either due to limited training data or class imbalance issues. In this work, we present Data Augmented Relation Extraction(DARE), a simple method to augment training data by properly fine-tuning GPT-2 to generate examples for specific relation types. The generated training data is then used in combination with the gold dataset to train a BERT-based RE classifier. In a series of experiments we show the advantages of our method, which leads in improvements of up to 11 F1 score points against a strong base-line. Also, DARE achieves new state of the art in three widely used biomedical RE datasets surpassing the previous best results by 4.7 F1 points on average.

연구 동기 및 목표

• 실제 생물의학 NLP 응용에서 흔히 발생하는 클래스 불균형과 제한된 훈련 데이터 문제를 해결한다.
• 자기회귀 언어 모델인 GPT-2를 생성 전용이 아닌, 후속 분류 작업을 위한 데이터 증강 엔진으로 사용할 수 있는지 탐색한다.
• GPT-2를 통제적으로 미세조정하여 실제 레이블 데이터와 합성된 예제를 결합함으로써 BERT 기반 관계 추출기의 성능을 향상시킨다.
• GPT-2가 생성한 데이터가 데이터 부족성과 클래스 불균형을 효과적으로 완화할 수 있으며, 모델 성능을 떨어뜨리는 잡음을 유의미하게 도입하지 않는지를 입증한다.
• 세 가지 널리 사용되는 생물의학 관계 추출 벤치마크에서 새로운 최고 성능을 확립한다.

제안 방법

• 금본 데이터셋의 양성 예제만을 사용하여 각 관계 유형별로 별도의 GPT-2 모델을 미세조정한다.
• 미세조정된 GPT-2 모델을 사용하여 대상 관계 유형의 문법적 및 의미적 패턴을 반영한 합성 훈련 인스턴스를 생성한다.
• 생성된 합성 데이터를 원본 금본 데이터셋과 조합하여 증강된 훈련 세트를 구성한다.
• 증강된 데이터의 서로 다른 부분집합에서 훈련된 BERT 기반 관계 분류기의 앙상블을 사용하여 분산을 줄이고 강건성을 향상시킨다.
• empirical ablation 결과에 기반해 각 관계 유형에서 생성된 데이터와 금본 데이터의 비율을 1:1로 설정하였으며, 이 비율에서 최적의 성능를 기록하였다.
• 최종 BERT 분류기를 전체 증강된 데이터셋으로 미세조정하여 최종 모델을 도출한다.

실험 결과

연구 질문

• RQ1 GPT-2는 고품질의 관계별 훈련 예제를 효과적으로 생성할 수 있는가? 이는 후속 관계 추출 성능 향상에 기여하는가?
• RQ2 GPT-2를 통한 데이터 증강은 클래스 가중치와 균형 잡힌 백킹과 같은 전통적인 클래스 불균형 학습 기법 대비 F1 점수 향상에서 어떻게 비교되는가?
• RQ3 성능을 최대화하기 위해 생성된 데이터와 금본 데이터의 최적 비율은 무엇인가? 이 비율을 초과하면 잡음이 모델 성능을 떨어뜨리는가?
• RQ4 GPT-2가 생성한 데이터를 사용할 경우 표준 생물의학 관계 추출 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 데이터 부족성과 클래스 불균형 수준이 다양한 다양한 생물의학 관계 추출 데이터셋에 일반화 가능한가?

주요 결과

• DARE는 강력한 기준 모델 대비 최대 11 F1 점수 향상을 달성하여 관계 추출 성능 향상이 뚜렷하게 입증되었다.
• CDR 데이터셋에서 DARE는 F1을 0.70(SOTA)에서 0.73으로 향상시켜 3점 향상되었으며, 평가된 모든 방법 중 가장 높은 F1을 기록했다.
• ChemProt에서 DARE는 F1을 0.65(SOTA)에서 0.73으로 향상시켜 8점 향상되었고, 새로운 SOTA를 수립했다.
• DDI2013에서 DARE는 F1을 0.75(SOTA)에서 0.78로 향상시켜 3점 향상되었으며, 모든 기준 모델을 능가했다.
• 세 벤치마크에서 평균적으로 이전 SOTA 대비 4.7 F1 점수 향상을 달성하여 새로운 SOTA를 확립했다.
• empirical ablation 결과에 따르면, 생성된 데이터와 금본 데이터의 비율이 1:1일 때 성능이 최고에 도달하며, 이 비율을 초과할 경우 잡음으로 인해 성능이 저하됨을 확인했다.