[논문 리뷰] Neural Machine Translation with Dynamic Graph Convolutional Decoder

Lei Li, Kai Fan외 3명|arXiv (Cornell University)|2023. 05. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 자동적 순차적 방식으로 목표 번역문과 그 문법적 의존성 그래프를 동시에 생성하는 새로운 엔드 투 엔드 신경 기계 번역 프레임워크인 Dyn-STGCD를 제안한다. 디코딩 중에 맞춤형 그래프 컨volution 디코더를 사용해 목표 구조 그래프를 동적으로 구성함으로써, 다양한 벤치마크에서 번역 성능을 향상시켰으며, WMT 2014 En-De 및 En-Fr 작업에서 각각 BLEU 점수 28.1과 41.8로 최신 기술 수준의 성능을 달성하였다.

ABSTRACT

Existing wisdom demonstrates the significance of syntactic knowledge for the improvement of neural machine translation models. However, most previous works merely focus on leveraging the source syntax in the well-known encoder-decoder framework. In sharp contrast, this paper proposes an end-to-end translation architecture from the (graph \& sequence) structural inputs to the (graph \& sequence) outputs, where the target translation and its corresponding syntactic graph are jointly modeled and generated. We propose a customized Dynamic Spatial-Temporal Graph Convolutional Decoder (Dyn-STGCD), which is designed for consuming source feature representations and their syntactic graph, and auto-regressively generating the target syntactic graph and tokens simultaneously. We conduct extensive experiments on five widely acknowledged translation benchmarks, verifying that our proposal achieves consistent improvements over baselines and other syntax-aware variants.

연구 동기 및 목표

• 신경 기계 번역에서 목표 측의 명시적 문법적 구조 모델링의 격차를 해소하기 위해.
• 자동적 순차적 생성 중에 디코더가 목표 측 문법적 그래프를 동적으로 구축하고 활용할 수 있도록 하기 위해.
• 목표 토큰과 그 문법적 의존성 관계를 함께 모델링하여 번역 품질을 향상시키기 위해.
• 목표 측의 명시적 문법적 모델링이 원천 측의 문법만을 사용하는 것보다 번역 성능을 향상시킬 수 있음을 입증하기 위해.
• 기타 시퀀스에서 그래프로의 변환 작업에 적용 가능한 일반화 가능한 그래프 간 변환 프레임워크를 제공하기 위해.

제안 방법

• 원천 토큰 표현과 그 문법적 그래프를 모두 처리하는 동적 공간-시간 그래프 컨볼루션 디코더(Dyn-STGCD)를 제안한다.
• 각 디코딩 단계에서 새로운 노드(예측된 토큰)와 간선을 점진적으로 추가하는 동적 그래프 구축 메커니즘을 도입한다.
• 공간-시간 GCN 레이어를 활용해 목표 그래프 내 국소적 이웃 정보와 순차적 의존성을 모두 모델링한다.
• 원천 문장과 그 문법적 그래프로부터 맥락적 표현을 추출하기 위해 트랜스포머 기반 인코더를 사용한다.
• 목표 토큰 예측과 문법적 그래프 구조를 동시에 최적화하는 공동 생성 목표를 설계한다.
• 예측된 문법적 구조의 일관성을 평가하기 위해 별도의 파서를 활용해 가짜 기준 그래프를 생성한다.

실험 결과

연구 질문

• RQ1 목표 측의 문법적 구조를 명시적으로 모델링하면 신경 기계 번역 성능이 향상되는가?
• RQ2 그래프 컨볼루션 레이어를 사용해 자동적 순차적 디코딩 중에 문법적 그래프를 동적으로 구축하는 것이 가능한가?
• RQ3 목표 토큰과 그 문법적 그래프를 동시에 생성하는 방식이 원천 측 문법만을 사용하는 모델보다 어떻게 비교되는가?
• RQ4 예측된 문법적 그래프가 외부 파서로부터의 골드 표준 파싱 결과와 얼마나 일치하는가?
• RQ5 제안된 Dyn-STGCD 프레임워크는 번역을 넘어서 다른 시퀀스에서 그래프로의 변환 작업으로 일반화될 수 있는가?

주요 결과

• WMT 2014 영어-독일어 번역 작업에서 Dyn-STGCD는 BLEU 점수 28.1을 기록하여 베이스라인 Transformer 및 기타 어휘 인식 모델을 능가하였다.
• 영어-프랑스어 작업에서는 Dyn-STGCD가 BLEU 점수 41.8을 기록하여 베이스라인 Transformer(41.0) 및 기타 어휘 인식 변종을 초월하였다.
• 모델이 생성한 문법적 그래프는 별도의 의존성 파서 출력과 높은 일관성을 보이며, 신뢰할 수 있는 구조 예측을 함을 시사한다.
• NIST 중국어-영어 및 WMT 벤치마크에서의 실험 결과, 다양한 베이스라인 및 어휘 인식 모델에 비해 일관된 향상이 확인되었다.
• 모델 앙상블이나 복합 분할과 같은 일반적인 성능 향상 기법을 사용하지 않더라도 번역 품질이 크게 향상되었다.
• 동적 그래프 구축 메커니즘이 디코더가 생성 과정에서 적응적으로 문법 정보를 통합할 수 있도록 하여 더 나은 맥락 모델링을 이끌었다.