[논문 리뷰] Neural Semantic Parsing by Character-based Translation: Experiments with Abstract Meaning Representations

Rik van Noord, Johan Bos|University of Groningen research database (University of Groningen / Centre for Information Technology)|2017. 05. 28.

Natural Language Processing Techniques인용 수 82

한 줄 요약

본 논문은 영어 문장을 추상 의미 표현(AMR)으로 매핑하기 위한 문자 수준 시퀀스-투-시퀀스 모델을 학습하고, 재배열, 슈퍼 문자, 품사 태그, 사전 학습/평균화, 대규모 실버 데이터의 조합이 상태-오브-더-아트 AMR 파싱(홀드아웃에서 71.0 F-score)을 달성함을 보인다.

ABSTRACT

We evaluate the character-level translation method for neural semantic parsing on a large corpus of sentences annotated with Abstract Meaning Representations (AMRs). Using a sequence-to-sequence model, and some trivial preprocessing and postprocessing of AMRs, we obtain a baseline accuracy of 53.1 (F-score on AMR-triples). We examine five different approaches to improve this baseline result: (i) reordering AMR branches to match the word order of the input sentence increases performance to 58.3; (ii) adding part-of-speech tags (automatically produced) to the input shows improvement as well (57.2); (iii) So does the introduction of super characters (conflating frequent sequences of characters to a single character), reaching 57.4; (iv) optimizing the training process by using pre-training and averaging a set of models increases performance to 58.7; (v) adding silver-standard training data obtained by an off-the-shelf parser yields the biggest improvement, resulting in an F-score of 64.0. Combining all five techniques leads to an F-score of 71.0 on holdout data, which is state-of-the-art in AMR parsing. This is remarkable because of the relative simplicity of the approach.

연구 동기 및 목표

• 대규모 AMR 주석 코퍼스에서 AMR 파싱을 위한 문자 수준 신경망 번역 접근법의 효과를 평가한다.
• 이전 신경망 결과를 재현하고 전통적인 특징 기반 파서에 도달하거나 이를 능가하기 위한 개선점을 탐구한다.
• 언어적 신호 및 학습 데이터 확대(실버 표준 데이터)가 신경망 AMR 파싱 성능에 미치는 영향을 조사한다.
• 일반적으로 이용 가능한 파서를 활용해 추가 학습 데이터를 생성하는 것이 상당한 이득을 가져올 수 있음을 실증한다.

제안 방법

• 영문 문장을 AMR 표현으로 매핑하기 위해 양방향 인코더와 어텐션을 갖춘 문자 수준 시퀀스-투-시퀀스 모델(OpenNMT)을 사용한다.
• 모델을 위한 변수 없는 표현을 만들기 위해 변수와 위키 링크를 제거하여 AMR을 전처리한다; 출력은 변수, 공참조, 위키 링크를 복원하도록 후처리한다.
• AMR 재배열을 적용하여 AMR 가지치기 순서를 입력 문장의 단어 순서와 맞추고, 가장 잘 매칭되는 AMR 순서를 포함해 학습 데이터를 확장한다.
• 관계 토큰과 개념 토큰을 구분하기 위해 슈퍼 캐릭터를 도입하고 AMR 구조를 강조하는 하이브리드 입력 표현을 만든다.
• 구문 정보를 주입하기 위해 품사 태그를 추가 슈퍼 문자로 통합한다.
• 대규모 코퍼스에 걸친 CAMR과 JAMR 구문 분석을 SMATCH 유사도로 필터링하여 골드 데이터를 증가시키고 실버 표준 데이터를 추가한다; CAMR/JAMR 데이터의 서로 다른 비율을 실험한다.
• 골드+실버 데이터를 활용한 사전 학습 후 골드 데이터로 미세조정으로 학습을 최적화하고, 디코딩 시 모델 평균화를 평가한다(앙상블의 효율적인 대안으로).

실험 결과

연구 질문

• RQ1 AMR 데이터로 학습된 문자 기반 시퀀스-투-시퀀스 모델은 전통적인 AMR 파싱 성능에 얼마나 근접하거나 이를 능가할 수 있는가?
• RQ2 어떤 부가 기법들이( AMR 재배열, 슈퍼 문자, 품사 태그, 실버 데이터, 사전학습, 평균화 ) 신경망 AMR 파싱 정확도를 가장 향상시키는가?
• RQ3 일반 파서로부터 얻은 실버 표준 AMR 데이터를 포함하는 것이 실질적 이득을 제공하는가, 그리고 최적의 양은 얼마인가?
• RQ4 언어적 신호와 모델 학습 전략이 손으로 설계한 특징의 부재를 신경망 AMR 파싱에서 보완할 수 있는가?
• RQ5 결과 모델 설계가 AMR 데이터셋 전반에 일반화 가능한가(예: LDC2015E86 vs LDC2016E25)?

주요 결과

• 기초 문자 수준 시퀀스-투-시퀀스 AMR 파싱은 AMR 트리플에서 53.1 F-score를 달성한다.
• AMR 재배열은 성능을 58.3 F-score로 향상시키며, 재배열과 데이터 두 배 확대를 결합하면 테스트에서 고립될 때 64.0이다.
• 슈퍼 문자와 POS 태그 입력은 개발/테스트에서 대략 57.4–58.2의 유사한 이득을 제공한다.
• 사전 학습 후 미세 조정은 상당한 이득을 가져오며(최대 58.6–58.7).
• CAMR과 JAMR의 실버 표준 데이터를 추가하면 성능이 현저히 향상되며, 100k CAMR+JAMR 실버 데이터로 dev 65.8, test 64.0 (후처리 없음)을 달성한다.
• 모든 기법을 결합하면 홀드아웃 세트에서 71.0 F-score의 정점을 달성하여 기존 최신 AMR 파서들을 능가한다.
• 최종 개선으로 더 큰 골드 데이터셋(LDC2016E25)으로 학습하더라도 전체 테스트 세트에서 71.0을 달성하고, LDC2015E86 데이터를 사용하면 여전히 68.5로 많은 선행 시스템을 앞선다.
• 이전 시스템과의 비교에서 제안된 접근법은 여러 AMR 하위 작업(예: 부정, SRL)에서 경쟁력 있는 정밀도를 유지하면서 높은 Smatch F-score를 달성하고, 잠재적 신뢰성 문제에도 불구하고 실버 데이터의 가치를 강조한다.