[논문 리뷰] Modeling Latent Sentence Structure in Neural Machine Translation

Jasmijn Bastings, Wilker Aziz외 2명|arXiv (Cornell University)|2019. 01. 18.

Natural Language Processing Techniques참고 문헌 22인용 수 8

한 줄 요약

이 논문은 소스 문장 표현에서 확률적 표본 추출을 통해 가중치가 부여되고 밀집 연결된 그래프를 유도함으로써 잠재적 문법적 구조와 번역을 동시에 학습하는 신경 기계 번역 모델을 제안한다. 기울기 가능 그래프 표본 추출을 위한 Concrete 근사법을 사용하여, CNN 및 단어 임베딩 인코더가 유도된 그래프를 효과적으로 활용해 장거리 의존성을 포착하는 것으로 나타났으며, 반면 RNN 인코더는 그들의 본질적 표현 능력으로 인해 이를 거의 간과한다.

ABSTRACT

Recently it was shown that linguistic structure predicted by a supervised parser can be beneficial for neural machine translation (NMT). In this work we investigate a more challenging setup: we incorporate sentence structure as a latent variable in a standard NMT encoder-decoder and induce it in such a way as to benefit the translation task. We consider German-English and Japanese-English translation benchmarks and observe that when using RNN encoders the model makes no or very limited use of the structure induction apparatus. In contrast, CNN and word-embedding-based encoders rely on latent graphs and force them to encode useful, potentially long-distance, dependencies.

연구 동기 및 목표

• 감독 파서에 의존하지 않고도 잠재적 문법적 구조가 신경 기계 번역 성능을 향상시킬 수 있는지 조사하기 위해.
• 다양한 인코더 아키텍처(기계학습 모델, CNN, 단어 임베딩)가 유도된 잠재적 그래프와 어떻게 상호작용하고 활용하는지 연구하기 위해.
• 근사적으로 이산적이고 의미 있는 의존성을 촉진하는 기울기 가능이고 확률적인 그래프 유도 기법을 설계하기 위해.
• 유도된 그래프가 인코더의 수용장역(수용장역)을 초월해 유용한 장거리 의존성을 포착하는지 평가하기 위해.
• 종합적인 NMT에서 그래프 유도와 번역 구성 요소의 역할을 분리하여 분석하기 위해.

제안 방법

• 그래프 샘플러와 그래프 기반 번역 디코더를 갖춘 확률적 인코더-디코더 모델.
• 그래프 구성 요소는 소스 문장의 은닉 상태에서 인접 행렬을 확률적으로 표본 추출하기 위해 Concrete 분포를 사용하며, 이는 이산적인 구조를 촉진한다.
• 헤드 잠재력은 양방향 LSTM 은닉 상태에서 유도된 쿼리 및 키 표현 간의 스케일된 도트곱 어텐션을 통해 계산된다.
• 번역 구성 요소는 유도된 그래프를 통해 정보를 전파하는 그래프 컨볼루션 네트워크를 사용하며, 디코딩 이전에 소스 표현을 향상시킨다.
• 모델는 타겟 시퀀스에 대한 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련되며, 그래프 온도는 시간이 지남에 따라 점차 감소된다.
• 유도된 의존성의 품질과 구조를 평가하기 위해 그래프 희소성과 헤드 거리 분석을 실시한다.

실험 결과

연구 질문

• RQ1 감독 없이 기울기 가능하고 엔드 투 엔드 NMT 모델에서 잠재적 문법적 구조를 효과적으로 유도할 수 있는가?
• RQ2 인코더 아키텍처의 선택(기계학습 모델, CNN, 단어 임베딩)이 유도된 잠재적 그래프의 유용성에 어떤 영향을 미치는가?
• RQ3 유도된 그래프가 인코더의 국소적 수용장역을 초월해 장거리 의존성을 포착하는가?
• RQ4 유도된 그래프는 해석 가능하고 의미적으로 유의미한가, 아니면 단순한 구조로 분해되는가?
• RQ5 기계학습 모델과 같은 매우 표현력이 뛰어난 인코더를 사용할 경우, 그래프 유도가 모델 성능에 기여하는가?

주요 결과

• CNN 및 단어 임베딩 인코더는 잠재적 그래프 유도와 결합할 경우 BLEU 점수를 크게 향상시키며, 이는 그래프가 유용한 비국소적 의존성을 포착하고 있음을 시사한다.
• RNN 인코더는 유도된 그래프가 대부분 단순한 구조이므로 성능 향상이 없으며, 장거리 구조를 포착하지 못한다.
• En-Ja 번역에서 평균 헤드 거리가 4.0(임베딩) 및 4.3(RNN)에서 6.1(CNN)로 증가하여 CNN이 장거리 의존성을 위해 그래프를 효과적으로 활용하고 있음을 나타낸다.
• 그래프 엔트로피는 균일 분포(28.7)보다 훨씬 낮아, 유도된 그래프가 희소하고 집중되어 있음을 확인한다.
• 모델의 그래프 구성 요소는 인코더가 장거리 맥락을 강력하게 유도하는 경향이 없는 경우에만 효과적이다. 예를 들어 CNN 및 단어 임베딩의 경우에 해당된다.
• 온도를 점차 낮춘 Concrete 분포가 고분산 역전파를 피하면서도 근사적으로 이산적이고 의미 있는 그래프를 성공적으로 유도한다.