[논문 리뷰] Recurrent Graph Syntax Encoder for Neural Machine Translation

Liang Ding, Dacheng Tao|arXiv (Cornell University)|2019. 08. 19.

Topic Modeling참고 문헌 42인용 수 8

한 줄 요약

이 논문은 문법적 의존 관계와 순차적 어순을 동시에 통합하는 새로운 그래프 구조 인코더인 순환 그래프 문법 인코더(RGSE)를 제안한다. RNN 유닛을 그래프 노드로 간주하고 문법적 의존 관계를 간선으로 간주함으로써, 순환 모델과 Transformer 기반 NMT 모델을 모두 향상시켜 WMT14 En-De 및 En-Cs 번역 작업에서 최신 기술 성능을 달성한다. 이는 장거리 문장 모델링과 의미 유지에 기여한다.

ABSTRACT

Syntax-incorporated machine translation models have been proven successful in improving the model's reasoning and meaning preservation ability. In this paper, we propose a simple yet effective graph-structured encoder, the Recurrent Graph Syntax Encoder, dubbed extbf{RGSE}, which enhances the ability to capture useful syntactic information. The RGSE is done over a standard encoder (recurrent or self-attention encoder), regarding recurrent network units as graph nodes and injects syntactic dependencies as edges, such that RGSE models syntactic dependencies and sequential information ( extit{i.e.}, word order) simultaneously. Our approach achieves considerable improvements over several syntax-aware NMT models in English$\Rightarrow$German and English$\Rightarrow$Czech translation tasks. And RGSE-equipped big model obtains competitive result compared with the state-of-the-art model in WMT14 En-De task. Extensive analysis further verifies that RGSE could benefit long sentence modeling, and produces better translations.

연구 동기 및 목표

• 기존의 문법 인지 NMT 모델이 동시에 문법적 의존 관계와 순차적 어순을 포착하는 데에 한계가 있음을 해결하기 위해.
• 탄력적이고 모듈화된 그래프 기반 아키텍처를 통해 명시적인 문법 유도 편향을 신경망 기반 번역 모델에 통합함으로써 성능을 향상시키기 위해.
• 그래프 구조 인코더에서 순환적 의존성을 활용하여 장거리 문장 번역 성능을 향상시키기 위해.
• 특히 의존성 모델링이 약한 하위 레이어에서 현대적인 Transformer 기반 모델에 문법 정보를 효과적으로 통합할 수 있도록 하기 위해.
• 아키텍처의 대대적 개편 없이도 순환 및 자기주의 기반 인코더 양쪽 모두를 향상시킬 수 있는 즉시 사용 가능한 구성 요소를 개발하기 위해.

제안 방법

• RGSE는 표준 인코더 내의 각 RNN 셀을 그래프 노드로 간주하고, 의존성 파서에서 생성한 문법적 의존 관계를 노드 간의 유도 간선으로 간주한다.
• RGSE의 각 노드는 자신의 부모 노드(의존적 요소)의 은닉 상태와 자신의 이전 은닉 상태를 집계함으로써, 문법과 어순을 동시에 모델링할 수 있다.
• 학습의 안정성과 수렴 속도 향상을 위해 게이팅 잔여 연결을 사용하며, 특히 깊은 아키텍처에서 유용하다.
• Transformer 모델의 경우, 하위 레이어에서 자기주의 메커니즘을 대체하여, 상위 레이어에서의 주의력 용량을 유지하면서도 문법 유도 편향을 보존한다.
• 간선 기반 통합을 통해 주의력 디코더가 문법적으로 관련된 소스 단어에 선택적으로 주의를 기울일 수 있게 되어, 단어 예측과 의미 유지에 기여한다.
• 단방향 및 이방향 의존성 주입을 모두 지원하며, 분석 실험 결과 이방향 주입이 주로 주어-동사-목적어 구조 언어에서 더 유용한 정보를 제공하는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 순환 유닛과 문법적 의존 관계를 통합한 그래프 구조 인코더가 기존의 문법 인지 모델을 넘어서 NMT 성능 향상에 기여할 수 있는가?
• RQ2 Transformer 인코더의 하위 레이어에 문법적 의존성을 주입함으로써 더 나은 문법 표현과 번역 품질을 달성할 수 있는가?
• RQ3 미래 의존성과 과거 의존성을 사용할 경우 번역 성능에 어떤 영향을 미치며, 특히 장문에서 어떻게 나타나는가?
• RQ4 기본 모델 대비 RGSE가 장거리 문장 번역 성능을 어느 정도 향상시키는가?
• RQ5 RGSE가 순환 및 자기주의 기반 NMT 아키텍처 양쪽 모두에 효과적으로 적용될 수 있는가?

주요 결과

• RGSE가 탑재된 Transformer-base 모델은 WMT14 En-De에서 28.62 BLEU를 기록하여 기존의 기본 Transformer(27.65)와 다른 문법 인지 모델들을 모두 앞서며 최신 기술 성능을 달성했다.
• RGSE가 탑재된 Transformer-big 모델은 29.47 BLEU에 도달하여 WMT14 En-De에서 최신 기술 모델을 초월했으며, 경쟁력 있는 성능을 보였다.
• 장문(길이 > 50)에서 RGSE 기반 모델은 뚜렷한 BLEU 향상을 보이며, 장거리 의존성 모델링 능력 향상이 확인되었다.
• 미래 의존성 주입이 과거 의존성 주입보다 더 좋은 성능을 내며, 디코더 예측의 장거리 계획 수립 능력 향상 덕분으로 보인다.
• 이방향 간선 기반 RGSE 통합은 단방향 설정 대비 추가적인 성능 향상을 이끌었으며, 특히 복잡한 문법적 구조에서 두드러졌다.
• 분석 실험 결과, RGSE의 간선 기반 통합과 게이팅 잔여 연결이 수렴 속도 향상과 더 나은 일반화 능력 향상에 기여하는 것으로 확인되었다.