[논문 리뷰] Modeling Graph Structure in Transformer for Better AMR-to-Text Generation

Jie Zhu, Junhui Li외 4명|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 추상 의미 표현(AMR) 그래프에서 간접적으로 연결된 개념 간의 장거리 의존성을 포착하기 위해 트랜스포머 모델에 구조 인식 자가주의 메커니즘을 제안한다. 직접적인 간선 외부의 개념 쌍의 구조적 표현을 통합함으로써, LDC2015E86 및 LDC2017T10에서 각각 29.66 및 31.82 BLEU 점수를 기록하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent studies on AMR-to-text generation often formalize the task as a sequence-to-sequence (seq2seq) learning problem by converting an Abstract Meaning Representation (AMR) graph into a word sequence. Graph structures are further modeled into the seq2seq framework in order to utilize the structural information in the AMR graphs. However, previous approaches only consider the relations between directly connected concepts while ignoring the rich structure in AMR graphs. In this paper we eliminate such a strong limitation and propose a novel structure-aware self-attention approach to better modeling the relations between indirectly connected concepts in the state-of-the-art seq2seq model, i.e., the Transformer. In particular, a few different methods are explored to learn structural representations between two concepts. Experimental results on English AMR benchmark datasets show that our approach significantly outperforms the state of the art with 29.66 and 31.82 BLEU scores on LDC2015E86 and LDC2017T10, respectively. To the best of our knowledge, these are the best results achieved so far by supervised models on the benchmarks.

연구 동기 및 목표

• 기존의 AMR-to-text 모델이 AMR 그래프에서 직접 연결된 개념 간의 한 스텝 관계만 모델링하는 데에 한계가 있다는 문제를 해결하기 위해.
• AMR 그래프의 간접적 관계를 포함한 더 풍부한 구조적 정보를 트랜스포머 인코더에 통합하여 성능을 향상시키기 위해.
• 직접 연결되지 않은 개념 쌍에 대해서도 구조적 표현을 학습할 수 있는 새로운 자가주의 메커니즘을 개발하기 위해.
• 감독 학습 설정을 사용하여 표준 영어 AMR 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.
• 간접적인 구조적 의존성을 모델링함으로써 생성 품질과 문법 정확성이 크게 향상됨을 입증하기 위해.

제안 방법

• 내용과 개념 쌍의 구조적 표현을 모두 기반으로 한 점수를 계산하는 구조 인식 자가주의 메커니즘을 표준 트랜스포머 인코더에 확장한다.
• 경로 기반 인코딩 및 그래프 탐색에서 유도된 구조적 레이블 시퀀스를 포함한, 두 개념 간의 구조적 표현을 학습하는 여러 방법을 도입한다.
• 구조적 표현을 주의 편향 벡터로 변환하기 위해 학습 가능한 매개변수 행렬을 사용하여 스케일된 도트곱 주의 메커니즘을 조정한다.
• 수정된 자가주의 레이어를 인코더 스택에 적용하여, 간선으로 직접 연결되지 않은 구조적으로 관련된 개념에도 주의를 기울일 수 있도록 한다.
• AMR 그래프를 입력 시퀀스로 선형화하는 전략을 사용하며, 강화된 주의 메커니즘을 통해 구조적 정보를 유지한다.
• 표준 AMR-to-text 벤치마크에서 표준 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 AMR 그래프의 개념 간 간접적인 구조적 의존성을 모델링하면 AMR-to-text 생성 성능이 향상되는가?
• RQ2 구조 인식 자가주의 메커니즘이 한 스텝 초과 연결된 장거리 관계를 얼마나 효과적으로 포착하는가?
• RQ3 트랜스포머 인코더에 구조적 표현을 통합하면 생성된 텍스트의 문법적 및 의미적 일치도가 향상되는가?
• RQ4 기존의 직접 간선만 고려하는 그래프 기반 seq2seq 모델과 비교해 볼 때, 제안된 방법은 어떠한가?
• RQ5 외부 데이터에 의존하지 않고도 제안된 방법이 표준 영어 AMR 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 구조 인식 자가주의 메커니즘은 LDC2015E86 벤치마크에서 29.66 BLEU 점수를 기록하여 이전 최고 성능 모델보다 4.16 BLEU 포인트 향상시켰다.
• LDC2017T10 벤치마크에서는 31.82 BLEU 점수를 기록하여 강력한 베이스라인 대비 4.39 BLEU 포인트 향상시켰다.
• 인간 평가 결과, 모델은 재진입(reentrancies) 및 주어-동사 일치 문제 처리에서 더 정확하고 문법적으로 일관된 문장을 생성함을 확인했다.
• AMR 그래프에서 시제나 수 정보가 없을 경우, 모델은 과거형과 복수형을 더 자주 선택하며, 기준 출력과 더 잘 일치한다.
• 모델은 베이스라인이 생성하지 못하는 주어-동사 관계와 직접 목적어 의존 관계를 정확히 식별하고 유지한다.
• 제거 실험(ablation study) 결과, 간접적인 구조적 관계를 모델링함으로써 성능 향상이 뚜렷하게 나타나 제안된 메커니즘의 효과성을 입증했다.