[논문 리뷰] Cascaded Text Generation with Markov Transformers

Yuntian Deng, Alexander M. Rush|arXiv (Cornell University)|2020. 06. 01.

Natural Language Processing Techniques참고 문헌 67인용 수 11

한 줄 요약

이 논문은 마르코프 트랜스포머를 사용한 계층적 디코딩 방법을 제안하여, 순차적 비트맵 검색에 의존하는 전형적 자동회귀 모델의 비효율성을 해결하고, 비례적 속도로 자동회귀 텍스트 생성을 실현한다. 비트맵 검색의 정확성과 병렬 추론의 속도를 결합한 방식으로, 하나의 모델을 통해 점점 더 높은 순서의 마르코프 의존성을 파arameter화함으로써 다섯 개의 기계 번역 벤치마크에서 효율적이고 고성능의 생성을 가능하게 하며, 속도와 정확도 면에서 비자동회귀 기준선을 능가한다.

ABSTRACT

The two dominant approaches to neural text generation are fully autoregressive models, using serial beam search decoding, and non-autoregressive models, using parallel decoding with no output dependencies. This work proposes an autoregressive model with sub-linear parallel time generation. Noting that conditional random fields with bounded context can be decoded in parallel, we propose an efficient cascaded decoding approach for generating high-quality output. To parameterize this cascade, we introduce a Markov transformer, a variant of the popular fully autoregressive model that allows us to simultaneously decode with specific autoregressive context cutoffs. This approach requires only a small modification from standard autoregressive training, while showing competitive accuracy/speed tradeoff compared to existing methods on five machine translation datasets.

연구 동기 및 목표

• 완전 자동회귀 모델이 디코딩을 위해 순차적 비트맵 검색에 의존하는 비효율성을 해결하기 위해.
• 제한된 마르코프 의존성을 활용하여, 품질을 희생시키지 않고도 빠르고 병렬화 가능한 텍스트 생성을 가능하게 하기 위해.
• 구조적 예측을 위한 계층적 그래픽 모델을 파arameter화할 수 있는 통합 신경망 아키텍처인 마르코프 트랜스포머를 설계하기 위해.
• 기존의 비자동회귀 및 비트맵 검색 방법과 비교해 경쟁적인 속도/정확도 트레이드오프를 달성하기 위해.
• 신경 텍스트 생성에서 다중 GPU 스케일링과 가변 길이 생성을 효율적으로 지원하기 위해.

제안 방법

• 표준 트랜스포머의 변종인 마르코프 트랜스포머를 도입하여, 학습 중에 자기주의를 고정된 컨텍스트 창문 M 내로 제한함으로써 고차수 마르코프 의존성을 학습할 수 있도록 한다.
• 계층적 디코딩을 적용: 0차 모델(비자동회귀)에서 시작하여, 점차 증가하는 컨텍스트를 가진 고차수 마르코프 모델(1차, 2차 등)을 사용해 예측을 반복적으로 개선한다.
• 전체 자동회귀 트랜스포머의 지식을 계층적 시스템으로 이관하기 위해 distillation을 적용하여, 추론 시간을 늘리지 않고도 성능 향상을 이룬다.
• n-그램 점수 대신 최대 마진 확률을 사용하여 불가능한 n-그램을 잘라내어, 위치 간 호환성을 높이고 계산 비용을 최소화한다.
• 각 반복에서 GPU 간 통신이 최소화되는 방식으로 시퀀스를 장치에 분할함으로써 다중 GPU 추론을 가능하게 한다.
• 최대우도 기반으로 마르코프 트랜스포머를 학습하며, 마스킹을 통한 컨텍스트 제한을 유지하면서도 전체 자동회귀 학습 목표를 그대로 유지한다.

실험 결과

연구 질문

• RQ1 자기회귀 모델에서 고성능을 유지하면서도 하위선형 시간 복잡도의 디코딩을 달성할 수 있는가?
• RQ2 하나의 신경망 모델이 텍스트 생성의 구조적 예측을 위해 점점 더 높은 순서의 마르코프 모델의 계층을 파라미터화할 수 있는가?
• RQ3 마르코프 트랜스포머를 활용한 계층적 디코딩이 비트맵 검색 및 비자동회귀 방법보다 속도-정확도 트레이드오프에서 뛰어난가?
• RQ4 distillation이 추론 시간을 늘리지 않고도 계층적 디코딩의 성능을 향상시킬 수 있는가?
• RQ5 이 방법은 다중 GPU에서 효율적으로 스케일업할 수 있으며, 가변 길이 시퀀스 생성을 지원할 수 있는가?

주요 결과

• WMT14 En-De에서, 디스틸리케이션을 적용한 계층적 마르코프 트랜스포머는 추론 시간 33.45ms에 BLEU 점수 35.03을 기록하여, 비자동회귀 기준선보다 속도와 정확도 면에서 모두 뛰어나다.
• 4차 마르코프 트랜스포머에 비트맵 검색(K=5)을 적용한 결과 BLEU 점수 35.07을 기록하여, 전체 트랜스포머의 35.63에 근접함을 입증하며, 제한된 컨텍스트로도 강력한 표현력을 보였다.
• 길이 제약 조건을 적용한 계층적 디코딩이 엄격한 길이 강제 조건보다 성능이 뛰어나, 유연한 시퀀스 길이 모델링의 이점이 있음을 보여주었다.
• 4개의 GPU를 사용한 결과, 단일 GPU 대비 2.79배의 속도 향상을 기록하여, 국소화된 통신 덕분에 다중 GPU 스케일링이 매우 우수함을 입증하였다.
• WMT14 En-De 검증 세트에서, n-그램 점수 대비 최대 마진 확률을 사용했을 때 BLEU 점수는 28.42에서 29.24로 향상되었으며, 시간 소모는 128.58ms에서 123.48ms로 약간 증가하였다.
• 이 방법은 O(log L) 병렬 시간 복잡도를 달성하였으며, 실질적으로 log L 항목은 무시 가능할 정도로 작아, O(1) 비자동회귀 모델과 거의 동일한 속도를 기록하였다.