[논문 리뷰] Improving AMR Parsing with Sequence-to-Sequence Pre-training

Dongqin Xu, Junhui Li외 3명|arXiv (Cornell University)|2020. 10. 05.

Natural Language Processing Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 기계 번역, 문법 분석, AMR 분석 자체를 사전 훈련 작업으로 활용하는 AMR 구문 분석을 위한 시퀀스 투 시퀀스(seq2seq) 사전 훈련 방법을 제안한다. 이러한 작업들을 공동으로 미세 조정함으로써, 복잡한 아키텍처 수정 없이도 AMR 2.0에서 F1 점수를 71.5에서 80.2로 향상시켜 최신 기술 성능을 달성한다.

ABSTRACT

In the literature, the research on abstract meaning representation (AMR) parsing is much restricted by the size of human-curated dataset which is critical to build an AMR parser with good performance. To alleviate such data size restriction, pre-trained models have been drawing more and more attention in AMR parsing. However, previous pre-trained models, like BERT, are implemented for general purpose which may not work as expected for the specific task of AMR parsing. In this paper, we focus on sequence-to-sequence (seq2seq) AMR parsing and propose a seq2seq pre-training approach to build pre-trained models in both single and joint way on three relevant tasks, i.e., machine translation, syntactic parsing, and AMR parsing itself. Moreover, we extend the vanilla fine-tuning method to a multi-task learning fine-tuning method that optimizes for the performance of AMR parsing while endeavors to preserve the response of pre-trained models. Extensive experimental results on two English benchmark datasets show that both the single and joint pre-trained models significantly improve the performance (e.g., from 71.5 to 80.2 on AMR 2.0), which reaches the state of the art. The result is very encouraging since we achieve this with seq2seq models rather than complex models. We make our code and model available at https://github.com/xdqkid/S2S-AMR-Parser.

연구 동기 및 목표

• 인간 레이블이 부여된 AMR 데이터셋의 크기가 제한되어 있어 파서 성능에 제약이 있다는 문제를 해결하기 위해.
• 일반적인 사전 훈련 모델(예: BERT)이 어휘 불일치와 생성 중심 설계로 인해 seq2seq AMR 분석에서 한계를 보인다는 점을 해결하기 위해.
• 관련된 seq2seq 작업에서의 사전 훈련이 AMR 분석 성능 향상에 기여하는지 탐색하기 위해.
• 단일 작업 사전 훈련보다 다중 작업 사전 훈련이 더 나은 성능을 내는지 조사하기 위해.
• 사전 훈련 모델의 응답을 유지하면서 AMR 분석 성능 향상을 위해 미세 조정을 향상시키기 위해.

제안 방법

• 영어-영어 기계 번역, 문법 분석(자동 분석된 트리 사용), AMR 분석(자동 변환된 AMR 시퀀스 사용)의 세 가지 작업에서 seq2seq 모델을 사전 훈련한다.
• 모든 사전 훈련 작업에 동일한 모델 아키텍처(Transformer 기반)를 사용하여 파라미터 공유와 언어 지식 전이를 보장한다.
• AMR 분석 F1 점수와 사전 훈련 모델의 응답 유지 능력을 동시에 최적화하는 다중 작업 학습 미세 조정 전략을 구현한다.
• 특수 토큰을 사용하여 깊이 우선 순회를 통해 AMR 그래프를 시퀀스로 선형화한다.
• 대규모 단어어 및 双어 텍스트 데이터에서 훈련을 수행하며, 번역 사전 훈련을 위해 WMT14 영어 단어어 및 이중어 데이터셋을 포함한다.
• Smatch F1을 주요 지표로 사용하여 두 가지 표준 영어 AMR 벤치마크인 AMR 2.0과 AMR 1.0에서 평가한다.

실험 결과

연구 질문

• RQ1 관련된 seq2seq 작업에서의 사전 훈련이 seq2seq 기반 AMR 파서의 성능 향상에 기여하는가?
• RQ2 기계 번역, 문법 분석, AMR 작업에서의 공동 사전 훈련이 단일 작업 사전 훈련보다 더 나은 성능을 내는가?
• RQ3 사전 훈련 데이터 선택(예: 번역에서의 언어 조합)이 최종 AMR 분석 성능에 어떤 영향을 미치는가?
• RQ4 다중 작업 미세 조정 전략은 사전 훈련 모델의 응답 품질을 유지하면서 AMR 분석 정확도를 향상시킬 수 있는가?
• RQ5 복잡한 아키텍처 수정 없이도 제안된 seq2seq 사전 훈련 방법이 효과적인가?

주요 결과

• 제안된 단일 작업 사전 훈련 방법은 AMR 2.0에서 F1 점수를 71.5에서 80.2로 향상시켜 최신 기술 성능을 달성한다.
• 기계 번역과 문법 분석에서의 공동 사전 훈련(PtM-MT-WMT14B-SynPar-WMT14M)은 AMR 2.0에서 최고의 F1 점수 81.4를 기록한다.
• 영어-프랑스어 번역(EN-FR)에서의 사전 훈련이 영어-독일어(EN-DE)보다 성능이 뛰어나, 언어 조합 선택이 성능에 영향을 미친다는 것을 시사한다.
• 다중 작업 학습 미세 조정 전략은 일반적인 미세 조정보다 성능 향상을 보이며, 사전 훈련 지식을 유지하는 데 효과적임을 확인한다.
• 복잡한 모델 설계나 외부 도구 없이도 일반적인 seq2seq 프레임워크만으로도 최신 기술 성능을 달성한다.
• 제거 실험을 통해 번역 및 분석 작업에서의 사전 훈련이 성능 향상에 크게 기여하며, 보조 작업 선택의 타당성을 입증한다.