[논문 리뷰] Rewarding Smatch: Transition-Based AMR Parsing with Reinforcement Learning

Tahira Naseem, Abhishek Shah외 4명|arXiv (Cornell University)|2019. 05. 31.

Topic Modeling참고 문헌 41인용 수 13

한 줄 요약

이 논문은 Smatch 점수를 조밀한 보상 신호로 사용하는 강화학습을 통해 스택-LSTM 전이 기반 AMR 파서를 향상시킨다. 하드 및 소프트 정렬의 융합, BERT 기반의 문맥적 임베딩, 명명된 실체 및 개념 전처리, 레이블 분리 기법을 통합하였다. 이 방법은 최신 기술 수준의 성능을 달성하여 이전 연구 대비 비라벨 Smatch 점수를 1점 향상시키고 SRL 점수를 2점 향상시켰으며, 정책 그래เดียน트 학습을 통해 추가로 성능 향상을 이루었고, 아블레이션 연구를 통해 각 구성 요소의 기여도를 확인하였다.

ABSTRACT

Our work involves enriching the Stack-LSTM transition-based AMR parser (Ballesteros and Al-Onaizan, 2017) by augmenting training with Policy Learning and rewarding the Smatch score of sampled graphs. In addition, we also combined several AMR-to-text alignments with an attention mechanism and we supplemented the parser with pre-processed concept identification, named entities and contextualized embeddings. We achieve a highly competitive performance that is comparable to the best published results. We show an in-depth study ablating each of the new components of the parser

연구 동기 및 목표

• Smatch 평가 지표는 미분 가능하지 않으며 토큰 수준의 지도 신호도 없기 때문에, 이 지표에 맞춰 훈련을 정렬함으로써 전이 기반 AMR 파서의 성능을 향상시키는 것.
• 훈련 중 단어와 AMR 노드 간의 정렬 정보가 부족한 문제를 해결하기 위해, SEM과 JAMR에서 사전에 학습한 하드 정렬과 어텐션 메커니즘을 융합하는 것.
• 문맥 기반 단어 표현(BERT)과 명명된 실체 및 개념 전처리를 통합하여 의미 파싱 정확도를 향상시키는 것.
• Smatch 점수를 보상 신호로 사용하는 강화학습과 정책 그래디언트 최적화의 효과를 평가하는 것.
• 각 아키텍처적 및 훈련 향상 요소의 기여도를 분리하여 평가하기 위한 종합적인 아블레이션 연구 수행

제안 방법

• 행동 예측과 레이블 예측을 위한 이중 스테이지 헤드를 스택-LSTM AMR 파서에 통합하여 행동 공간을 축소하고 검색 효율성을 향상시킴.
• 사전에 학습된 하드 정렬(SEM 및 JAMR에서 유도)과 어텐션 메커니즘을 융합하여 디코딩 중에 동적으로 단어-노드 정렬을 개선함.
• BERT 기반의 문맥 임베딩과 별도의 BERT 기반 태거를 사용하여 개념 및 명명된 실체 식별을 통해 입력 표현을 풍부화함.
• 레이블 분리 도입: 행동 예측과 레이블 예측을 두 개의 별도 소프트맥스 레이어로 분리하여 학습 안정성과 성능 향상 도모.
• Smatch 점수를 보상 신호로 사용하는 자기비판 정책 학습을 적용하며, 기준으로 게으른 파싱 결과를 사용하여 그래디언트 분산을 줄임.
• 정책 그래디언트 목적 함수: ∇θLRL = (r(gs) − r(ĝ))∇θlog(pθ(gs))로 정의되며, gs는 샘플링된 그래프이고 ĝ는 게으른 파싱 결과이며, 탐색을 위해 ε = 0.05를 사용함.

실험 결과

연구 질문

• RQ1 Smatch 점수를 조밀한 비가역적 보상 신호로 사용하는 강화학습이 기존의 최대우도 훈련 대비 AMR 파싱 성능 향상에 기여하는가?
• RQ2 다양한 정렬 방법(하드 및 소프트)을 융합할 경우 파싱 정확도와 내성에 어떤 영향을 미치는가?
• RQ3 BERT 기반의 문맥 임베딩과 명명된 실체 및 개념 전처리가 파싱 성능 향상에 어느 정도 영향을 미치는가?
• RQ4 레이블 분리, 어텐션 기반 정렬, 강화학습 각각이 최종 성능에 기여하는 정도는 어떠한가?
• RQ5 이러한 구성 요소들의 조합이 기존 최신 기술 수준의 결과를 초월할 수 있는가?

주요 결과

• 모델 전체(구성 16)는 비라벨 Smatch 점수 81.5점을 기록하여 기본 스택-LSTM 파서(72.8점)보다 1점 향상되었고, 곽과 루(2018)의 재현 결과보다 5점 높은 성능을 달성함.
• Smatch 보상 신호를 사용하는 강화학습은 최고의 비-RL 모델 대비 2점 향상시켜 평가 지표 기반 정책 학습의 효과를 입증함.
• BERT 임베딩을 추가하면 비문맥적 단어 임베딩 대비 1점 이상 성능 향상이 이루어지며, BERT 전용 모델(15)은 비-BERT 기반 기준 모델보다 약 1점 높은 성능 기록.
• SEM + JAMR의 하드 정렬과 어텐션 기반 소프트 정렬의 융합은 하드 정렬만 사용하는 것보다 1점 향상됨.
• BERT 기반 태거를 사용한 명명된 실체 및 개념 전처리로 인해 Smatch 점수에 1점 이상의 기여가 발생하여, 구조화된 입력 전처리의 강력한 효과를 입증함.
• Smatch 가중치와 레이블 분리는 각각 중요한 기여를 하며, Smatch 가중치는 0.5점 향상시키고, 레이블 분리는 더 나은 검색 제어를 가능하게 하여 아블레이션 연구에서 그 효과를 입증함.