[논문 리뷰] Factorising AMR generation through syntax

Kris Cao, Stephen Clark|arXiv (Cornell University)|2018. 04. 20.

Topic Modeling참고 문헌 29인용 수 11

한 줄 요약

이 논문은 의미적 그래프에서 문법적 구조를 먼저 예측한 후 이를 표면 텍스트로 어휘화하는 두 단계의 AMR 생성 모델을 제안한다. 문법적 변형과 어휘 선택을 분리함으로써, 외부 데이터 없이도 최신 기술 수준의 성능을 달성하고, 종단 간 모델보다 더 의미를 잘 유지하는 다의어 표현을 생성한다.

ABSTRACT

Generating from Abstract Meaning Representation (AMR) is an underspecified problem, as many syntactic decisions are not constrained by the semantic graph. To explicitly account for this underspecification, we break down generating from AMR into two steps: first generate a syntactic structure, and then generate the surface form. We show that decomposing the generation process this way leads to state-of-the-art single model performance generating from AMR without additional unlabelled data. We also demonstrate that we can generate meaning-preserving syntactic paraphrases of the same AMR graph, as judged by humans.

연구 동기 및 목표

• 동일한 의미 그래프에 대해 여러 문법적 실현이 가능한 AMR 생성의 본질적 부족함을 해결하기 위해.
• 문법적 변형과 어휘 선택을 분리함으로써 생성 품질을 향상시키고, 제어 가능하고 다양한 다의어 표현을 가능하게 하기 위해.
• 외부 레이블이 없는 데이터나 복잡한 아키텍처 없이도 레이블이 있는 데이터만을 사용하여 AMR 텍스트 생성에서 최신 기술 수준의 성능을 달성하기 위해.
• 인간 평가를 통해 문법적 요소를 분리한 생성 방식이 종단 간 모델보다 더 의미를 잘 유지하는 다의어 표현을 생성하는지 검증하기 위해.

제안 방법

• 모델은 AMR 인코더와 어휘화 모델에 공통으로 사용되는 임베딩을 사용하는 시퀀스 투 시퀀스 아키텍처를 채택하여 효율성과 일반화 능력을 향상시킨다.
• 문법 모델은 양방향 LSTM 인코더와 내적 어텐션을 사용하는 LSTM 디코더를 활용해 AMR 그래프에서 탈어휘화된 구성 트리를 예측한다.
• 어휘화 모델은 예측된 구문 분석 트리와 AMR 그래프로부터 표면 텍스트를 생성하며, 희귀어 및 OOV(Out-of-Vocabulary) 단어를 처리하기 위해 복사 메커니즘을 별도의 디코더에 통합한다.
• 두 모델은 선형화된 AMR 그래프와 탈어휘화된 문장 분석 트리에서 끝내기로 훈련되며, 문법 모델은 AMR에 조건을 부여하고, 어휘화 모델은 AMR과 문법에 모두 조건을 부여한다.
• 문법 모델은 온도 조절 샘플링을 통해 다양한 문장 분석 구조를 생성하고, 어휘화 모델은 결정론적 디코딩을 통해 문법성과 의미 유지 보장을 확보한다.
• 명시적 명칭은 익명화되며, 복사 메커니즘이 디코더에 통합되어 개방형 어휘 생성과 데이터 희소성 문제를 완화한다.

실험 결과

연구 질문

• RQ1 문법적 요소를 통한 AMR 생성 분해가 종단 간 모델 대비 성능 향상에 기여하는가?
• RQ2 문법적 변형과 어휘 선택을 분리하면 동일한 AMR 그래프에 대해 더 의미를 잘 유지하는 다의어 표현을 생성하는가?
• RQ3 외부 레이블이 없는 데이터나 복잡한 그래프 신경망 구성 요소 없이 모델은 어떻게 성능을 내는가?
• RQ4 정확한 문장 분석 트리 예측이 전체 생성 성능에 얼마나 큰 영향을 미치는가?

주요 결과

• 제안된 문법적 요소 분리 모델은 LDC2015E86 및 LDC2017T10 AMR 벤치마크에서 모두 최신 기술 수준의 단일 모델 성능을 달성하였으며, 외부 데이터 없이도 이전의 종단 간 모델을 능가한다.
• 골드 문장 분석 트리에 조건을 부여했을 때 BLEU 점수가 50대에 이를 정도로, 문장 분석 트리 예측이 성능 향상의 핵심적 제약 요소임을 시사한다.
• 인간 평가 결과, 공동 모델은 문법 무관 기반 모델 대비 의미를 더 잘 유지하는 다의어 표현을 유의미하게 더 많이 생성하였으며, 수용성과 의미 충실도가 높았다.
• 문법 모델에서 다양한 문장 분석 구조를 샘플링하고 어휘화 모델에서는 결정론적 디코딩을 수행함으로써 문법적으로 타당하고 의미적으로 일관된 다의어 표현을 생성하였으며, 이는 분리 기반 접근의 타당성을 검증한다.
• 공유 인코더와 복사 메커니즘의 사용이 일반화 능력을 향상시키고 희귀어 처리에 효과적이며, 자원이 적은 AMR 생성 환경에서의 데이터 희소성 문제를 줄였다.