[논문 리뷰] Denoising Pre-Training and Data Augmentation Strategies for Enhanced RDF Verbalization with Transformers

Sébastien Montella, Betty Fabre외 3명|arXiv (Cornell University)|2020. 12. 01.

Topic Modeling참고 문헌 41인용 수 6

한 줄 요약

이 논문은 외부 코퍼스(위키백과 및 자체 구축 데이터셋)를 사용하여 RDF 술어화에 대한 노이즈 제거 사전 훈련 및 데이터 증강 전략을 제안한다. 트랜스포머 기반 모델은 대규모 노이즈가 있는 텍스트와 증강된 RDF 삼항관계로 사전 훈련을 거쳐, 훈련 중에 보지 못한 실체에 대해 상대 BLEU 점수 126.05% 향상과 훈련 중에 보지 못한 카테고리에 대해 88.16% 향상된 성능을 기록하며 분포 외 데이터에 대한 강력한 일반화 능력을 입증한다.

ABSTRACT

The task of verbalization of RDF triples has known a growth in popularity due to the rising ubiquity of Knowledge Bases (KBs). The formalism of RDF triples is a simple and efficient way to store facts at a large scale. However, its abstract representation makes it difficult for humans to interpret. For this purpose, the WebNLG challenge aims at promoting automated RDF-to-text generation. We propose to leverage pre-trainings from augmented data with the Transformer model using a data augmentation strategy. Our experiment results show a minimum relative increases of 3.73%, 126.05% and 88.16% in BLEU score for seen categories, unseen entities and unseen categories respectively over the standard training.

연구 동기 및 목표

• 웹NLG 벤치마크에서 분포 외 실체와 술어에 대해 RDF 텍스트 생성 성능을 향상시키는 것.
• 기존 모델이 훈련 중에 보지 못한 실체나 카테고리에 직면했을 때의 열악한 일반화 성능을 해결하는 것.
• 지식 기반 술어화에 대해 외부 코퍼스를 활용한 노이즈 제거 사전 훈련 및 데이터 증강의 효과성을 탐구하는 것.
• 커리큘럼 학습 및 사전 훈련 전략이 RDF 술어화에서 제로샷 및 피셔샷 일반화에 미치는 영향을 평가하는 것.

제안 방법

• 외부 데이터셋 두 개를 구축: 위키백과에서 유래한 WS1과 자체 구축된 삼항관계 추출 파이프라인에서 유래한 ST1을 통해 훈련 데이터를 증강.
• 외부 코퍼스에서 유도된 노이즈가 있는 문장에 대해 노이즈 제거 오토인코더 사전 훈련을 적용하여 모델의 강건성과 언어 일반화 능력을 향상.
• 이중 단계 훈련 파이프라인을 사용: 외부 데이터에서의 사전 훈련 후 웹NLG 데이터셋에서의 피지테이닝.
• 피지테이닝 동안 커리큘럼 학습을 적용하여 훈련 난이도를 점차 높였지만, 예상과는 달리 성능 저하가 발생.
• 사전 훈련과 데이터 증강을 조합하여 훈련 중에 보지 못한 실체와 술어에 대한 일반화 능력을 향상.
• 노이즈 제거 목표를 가진 트랜스포머 기반 순차적-순차적 모델을 훈련하고, 여러 지표(BLEU, METEOR, chrF++, BLEURT)를 사용해 평가.

실험 결과

연구 질문

• RQ1 대규모 노이즈가 있는 텍스트에서의 노이즈 제거 사전 훈련이 훈련 중에 보지 못한 실체와 카테고리에 대해 RDF 술어화 성능 향상에 기여하는가?
• RQ2 외부 코퍼스를 활용한 데이터 증강이 RDF 텍스트 생성에서 일반화에 어떤 영향을 미치는가?
• RQ3 피지테이닝 중 커리큘럼 학습이 분포 외 데이터에 대한 제로샷 성능 향상에 기여하는가?
• RQ4 기존 유사 작업에서 성공한 바에도 불구하고, 이 설정에서는 왜 커리큘럼 학습이 성능 저하를 초래하는가?
• RQ5 지식 기반 술어화를 위한 사전 훈련에서 데이터 품질과 양 중 어느 것이 상대적으로 더 큰 영향을 미치는가?

주요 결과

• 표준 훈련 대비 훈련 중에 보지 못한 실체에 대해 상대 BLEU 점수 126.05% 향상되었으며, 이는 분포 외 실체에 대한 강력한 일반화 능력을 시사한다.
• 훈련 중에 보지 못한 카테고리에 대해 상대 BLEU 점수 88.16% 향상되었으며, 이는 훈련 중에 보지 못한 새로운 술어를 효과적으로 처리할 수 있음을 보여준다.
• WS1보다 다섯 배 작지만 ST1 데이터셋만으로도 사전 훈련을 수행했을 때 더 높은 성능를 기록했으며, 이는 데이터 품질과 대표성보다는 단순한 양이 더 중요하다는 것을 시사한다.
• 노이즈 제거 사전 훈련과 ST1 사전 훈련을 병행했을 때 성능 저하가 발생했으며, 이는 노이즈 제거 목표와 RDF 삼항관계 선형화 간의 입력 분포 불일치 때문일 가능성이 높다.
• 성능이 가장 뛰어난 모델은 커리큘럼 학습 없이 WS1과 ST1을 모두 사용해 훈련한 것으로, 생성된 텍스트의 유창성과 정보 통합 능력이 뛰어나다.
• 인간 평가 결과, 모델는 훈련 중에 보았던 카테고리에서는 경쟁력 있는 성능를 보였지만, 훈련 중에 보지 못한 데이터에서는 순위가 낮아 제로샷 일반화 향상 여전히 개선이 필요하다는 점을 시사한다.