[논문 리뷰] Non-autoregressive Transformer by Position Learning

Yu Bao, Hao Zhou외 5명|arXiv (Cornell University)|2019. 11. 25.

Topic Modeling참고 문헌 27인용 수 30

한 줄 요약

이 논문은 생성 품질을 햖थ하려는 목적으로 잠재 변수로 단어 위치를 명시적으로 모델링하는 비자기적 Transformer인 PNAT를 제안한다. 히우리스틱 검색과 최대 샘플링을 사용해 위치 학습을 유도함으로써, PNAT는 기계 번역에서 최신 기술 수준의 성능을 달성하고, 동일한 번역 작업에서 자기적 모델을 초월하며, 자동적 Transformer와의 성능 격차를 크게 줄였다.

ABSTRACT

Non-autoregressive models are promising on various text generation tasks. Previous work hardly considers to explicitly model the positions of generated words. However, position modeling is an essential problem in non-autoregressive text generation. In this study, we propose PNAT, which incorporates positions as a latent variable into the text generative process. Experimental results show that PNAT achieves top results on machine translation and paraphrase generation tasks, outperforming several strong baselines.

연구 동기 및 목표

• 비자기적(NAT)과 자기적(AT) Transformer 간의 성능 격차를 해소하기 위해 생성 과정에서 단어 위치를 명시적으로 모델링하고자 한다.
• 잠재 변수로서의 위치 정보를 통합함으로써 비자기적 생성 품질을 향상시키고, 출력 시퀀스의 재정렬 문제를 줄이고자 한다.
• 위치 잠재 변수를 조작함으로써 제어 가능한 생성을 가능하게 하여, 시퀀스 제어의 새로운 가능성을 열고자 한다.
• 위치 예측 정확도가 생성 성능과 직접적인 상관관계가 있음을 입증함으로써, 향후 비자기적 모델 향상의 유망한 방향을 제시하고자 한다.

제안 방법

• 비자기적 생성 과정에 단어 위치를 잠재 변수로 도입하여, 모델이 최적의 출력 순서를 학습할 수 있도록 한다.
• 위치 예측을 위한 훈련 타겟을 생성하기 위해 히우리스틱 검색 과정을 활용하여 훈련 중 보다 효과적인 지도 학습을 가능하게 한다.
• 추론 단계에서 최대 샘플링을 사용하여 예측된 위치와 디코더 출력 기반으로 가장 가능성 높은 시퀀스를 디코딩한다.
• 상대적 자기주의 어텐션을 활용하여 위치 예측이 부정확할 경우에도 모델의 강건성을 유지한다.
• 위치와 생성 토큰의 동시 가능도를 최적화하기 위해 몬테카를로(MC) 알고리즘을 사용해 모델을 훈련한다.
• 각 토큰 예측을 소스 인코딩과 예측된 위치에 조건화함으로써 표준 비자기적 모델 인과성 분해를 개선한다.

실험 결과

연구 질문

• RQ1 비자기적 생성에서 단어 위치를 명시적으로 모델링하면 시퀀스 생성 작업에서 성능 향상이 이루어지는가?
• RQ2 비자기적 모델에서 위치 예측 정확도가 생성된 시퀀스의 품질에 어떤 영향을 미치는가?
• RQ3 위치 모델링이 특정 생성 작업에서 자기적 모델을 초월할 수 있는가?
• RQ4 잠재 변수로서의 위치 통합이 특정한 단어 순서를 강제하는 등의 제어 가능한 생성을 가능하게 하는가?
• RQ5 BLEU 점수와 추론 속도 측면에서 제안된 방법은 강력한 기준 모델과 어떻게 비교되는가?

주요 결과

• PNAT는 WMT14 독일-영어 기계 번역에서 최신 기술 수준의 성능을 달성하여, 여러 강력한 비자기적 및 자기적 기준 모델을 능가했다.
• 어휘 재구성 작업에서 PNAT는 자기적 Transformer 모델을 초월하여, 위치 모델링이 자동적 제약을 뛰어넘는 우수한 생성을 가능하게 할 수 있음을 보여주었다.
• 실험 결과 위치 예측 정확도와 생성 품질 간에 강한 정적 상관관계가 있음을 확인했으며, 높은 위치 예측 정확도는 유의미하게 향상된 결과를 이끌었다.
• 사례 연구를 통해 히우리스틱 검색을 통해 확보한 위치를 사용한 번역 결과는 기준 번역과 매우 일관성이 있었고, 예측이 부정확하더라도 상대적 자기주의 어텐션 덕분에 타당한 출력을 생성하는 것으로 나타났다.
• 비자기적 디코딩 덕분에 높은 생성 효율성을 유지하면서도 경쟁적 또는 우수한 성능을 달성했다.
• 결과적으로 명시적 위치 모델링은 향후 비자기적 시퀀스 생성을 위한 유망한 방향임을 시사한다.