[논문 리뷰] Hierarchical Curriculum Learning for AMR Parsing

Peiyi Wang, Liang Chen외 5명|arXiv (Cornell University)|2021. 10. 15.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 AMR 구문 분석을 위한 계층적 커리큘럼 학습(HCL)을 제안하며, 구조 수준 커리큘럼(SC)과 인스턴스 수준 커리큘럼(IC)을 도입하여 시퀀스-투-시퀀스 모델이 AMR 그래프의 계층적 구조를 더 잘 학습할 수 있도록 돕는다. 핵심 의미 요소와 간단한 인스턴스에서 먼저 학습을 시작하여 복잡한 구조로 점차 진행함으로써 HCL는 모델 성능을 향상시키며, AMR2.0에서 84.3 smatch, AMR3.0에서 83.7 smatch를 기록하여 이전 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Abstract Meaning Representation (AMR) parsing aims to translate sentences to semantic representation with a hierarchical structure, and is recently empowered by pretrained sequence-to-sequence models. However, there exists a gap between their flat training objective (i.e., equally treats all output tokens) and the hierarchical AMR structure, which limits the model generalization. To bridge this gap, we propose a Hierarchical Curriculum Learning (HCL) framework with Structure-level (SC) and Instance-level Curricula (IC). SC switches progressively from core to detail AMR semantic elements while IC transits from structure-simple to -complex AMR instances during training. Through these two warming-up processes, HCL reduces the difficulty of learning complex structures, thus the flat model can better adapt to the AMR hierarchy. Extensive experiments on AMR2.0, AMR3.0, structure-complex and out-of-distribution situations verify the effectiveness of HCL.

연구 동기 및 목표

• 평탄한 시퀀스-투-시퀀스 훈련 목표와 AMR 그래프의 계층적 성격 사이의 격차를 해소하기 위해.
• 복잡하고 외부 분포(OOD) AMR 인스턴스에서의 일반화 능력과 성능을 향상시키기 위해.
• 구조적이고 인스턴스 기반 커리큘럼을 통해 복잡성을 점진적으로 도입함으로써 인간 학습을 모방하기 위해.
• 사전 훈련된 시퀀스-투-시퀀스 모델이 AMR 구문 분석에서 계층적 의미적 구조를 더 잘 포착할 수 있도록 하기 위해.

제안 방법

• 구조 수준 커리큘럼(SC)은 깊이가 증가하는 순서로 AMR 부분 그래프를 훈련시켜 루트 근처의 핵심 의미 요소에서 시작한다.
• 인스턴스 수준 커리큘럼(IC)은 구조적 복잡성이 증가하는 순서로 AMR 인스턴스를 훈련시키며, 간단한 그래프에서 시작한다.
• 모델는 SC와 IC를 번갈아가며 적용하는 커리큘럼 스케줄을 사용해 훈련되며, 점차 훈련 예제의 난이도를 높인다.
• 선형화된 AMR 그래프는 변수와 깊이 마커를 위한 특수 토큰을 포함한 DFS 기반 토크나이제이션을 사용해 생성된다.
• 이 프레임워크는 BART 기반 시퀀스-투-시퀀스 모델에 통합되며, 각 커리큘럼의 영향을 분리하기 위해 추론 실험을 실시한다.
• 후처리는 Bevilacqua 등(2021)과 동일한 절차를 따르며, 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 계층적 커리큘럼 학습 전략은 시퀀스-투-시퀀스 모델의 AMR 구문 분석 성능을 향상시킬 수 있는가?
• RQ2 세부적인 구조보다 핵심 의미 요소에서 먼저 훈련하면 AMR 계층의 이해가 향상되는가?
• RQ3 더 단순한 인스턴스에서부터 복잡한 인스턴스로 점진적으로 훈련하면 복잡하고 외부 분포 데이터에서의 일반화 능력이 향상되는가?
• RQ4 구조 수준 커리큘럼과 인스턴스 수준 커리큘럼는 효과성과 상호보완성 측면에서 어떻게 비교되는가?

주요 결과

• HCL는 AMR2.0에서 84.3 smatch, AMR3.0에서 83.7 smatch를 기록하여 이전 SOTA 방법보다 각각 0.5 및 0.7 smatch 포인트 높은 성능을 달성했다.
• 구조 종속 성능 지표(비라벨, 재진입, SRL)에서 HCL는 AMR2.0과 AMR3.0에서 각각 F1을 2.97점과 2.83점 향상시켜 구조 학습 능력 향상을 보여주었다.
• 모든 커리큘럼이 포함된 모델는 추론 버전보다 성능이 뛰어나며, SC가 IC보다 더 강한 개별 효과를 보여, SC가 계층적 인식에 더 큰 영향을 미친다는 것을 시사한다.
• 외부 분포 데이터셋(BIO, TLP, News3)에서 HCL는 각각 61.1, 78.2, 75.3 smatch를 기록하여 Bevilacqua 등(2021)의 결과를 모두 초월하며 일반화 능력 향상을 입증했다.
• 깊은 AMR 그래프에서 성능 향상이 가장 두드러지며, 그래프 깊이가 증가할수록 HCL는 기준 모델을 일관되게 능가한다.