[논문 리뷰] On the Learning of Non-Autoregressive Transformers

Fei Huang, Tianhua Tao외 3명|arXiv (Cornell University)|2022. 06. 13.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 비자기적 트랜스포머(NATs)가 조건부 총상관도(C´)로 측정된 정보 손실로 인해 토큰 간 의존성을 학습하는 데 어려움을 겪는다고 밝힌다. 이는 최대우도추정(MLE)의 성능을 저하시킨다. 이를 해결하기 위해 저자들은 정보 손실이 감소한 C´를 가진 가짜 분포에서 학습하는 것으로 간주되는 통합 프레임워크인 최대가짜우도추정(MPLE)을 제안한다. 이는 이전 성공 사례가 암묵적으로 C´가 감소한 가짜 분포에서 학습했음을 보여주며, 이 관점은 더 나은 학습 목표 설계를 가능하게 하여 낮은 우도에도 불구하고 생성 품질을 향상시킨다.

ABSTRACT

Non-autoregressive Transformer (NAT) is a family of text generation models, which aims to reduce the decoding latency by predicting the whole sentences in parallel. However, such latency reduction sacrifices the ability to capture left-to-right dependencies, thereby making NAT learning very challenging. In this paper, we present theoretical and empirical analyses to reveal the challenges of NAT learning and propose a unified perspective to understand existing successes. First, we show that simply training NAT by maximizing the likelihood can lead to an approximation of marginal distributions but drops all dependencies between tokens, where the dropped information can be measured by the dataset's conditional total correlation. Second, we formalize many previous objectives in a unified framework and show that their success can be concluded as maximizing the likelihood on a proxy distribution, leading to a reduced information loss. Empirical studies show that our perspective can explain the phenomena in NAT learning and guide the design of new training methods.

연구 동기 및 목표

• 최대우도추정(MLE) 학습이 낮은 지연 시간을 보이는 비자기적 트랜스포머(NATs)에서 실패하는 이유를 이해하는 것.
• 낮은 우도이지만 높은 생성 품질을 낼 수 있었던 이전 NAT 학습 목표의 경험적 성공을 설명하는 것.
• 조건부 총상관도(C´)가 감소한 가짜 분포를 기반으로 한 기존 NAT 학습 방법을 통합적으로 형식화하는 프레임워크를 정의하는 것.
• 생성 성능과 상관관계가 높고 새로운 학습 방법 설계를 안내할 수 있는 일반적인 목표를 유도하는 것.

제안 방법

• 이론적 분석을 통해 NATs에서 직접 MLE를 적용할 경우, 토큰 간 상호의존성을 잃는 조건부 분포 근사가 발생하며, 이 정보 손실은 데이터셋의 조건부 총상관도(C´)로 정량화됨을 보여준다.
• 논문은 통합 프레임워크인 최대가짜우도추정(MPLE)을 도입하며, 이는 이전 방법들이 원래 데이터보다 C´가 낮은 가짜 분포 ⟨X+Z, T⟩에서 우도를 최대화하는 것으로 재해석됨을 보여준다.
• C´를 감소시키기 위해 설계된 가짜 타겟 T는 복합 목표를 최소화함으로써 선택된다: NAT 손실에 더해, 후보 출력과 다수의 티처 모델 간 BLEU 점수를 통해 근사된 타겟 왜곡 항이 포함된다.
• 다중 참조 데이터셋에서 수작업 검색을 통해 다수의 티처 출력을 가중하는 하이퍼파라미터를 튜닝하며, 모델 재학습 없이 실제 데이터 왜곡을 최소화한다.
• 이 방법은 GLAT와 KD에 적용되며, 가짜 타겟 선택 시 Z를 忽시함으로써 분산을 줄이기 위해 동적 KD가 사용된다.
• 실험은 표준 WMT 벤치마크(WMT14 En-De, WMT17 Zh-En)를 사용하며, 8장의 V100 GPU에서 혼합 정밀도 학습을 통해 모델을 훈련하고, 검증 세트에서 최상의 5개 체크포인트를 평균화하여 평가한다.

실험 결과

연구 질문

• RQ1 최대우도추정(MLE)이 높은 우도를 보이지만 고품질 출력을 생성하지 못하는 비자기적 트랜스포머(NATs)에서 실패하는 이유는 무엇인가?
• RQ2 지식 증류(KD)나 GLAT와 같은 학습 목표가 낮은 우도를 낳지만 높은 생성 품질을 낼 수 있는 이유는 무엇인가?
• RQ3 다양한 NAT 학습 목표의 성공을 뒷받침하는 공통된 성질은 무엇이며, 이를 어떻게 형식화할 수 있는가?
• RQ4 데이터셋의 조건부 총상관도(C´)는 어떻게 활용되어 NAT 학습에서의 정보 손실을 측정하고 완화할 수 있는가?
• RQ5 이전 성공 사례를 설명하고 새로운 효과적인 NAT 학습 목표 설계를 안내할 수 있는 통합 프레임워크를 유도할 수 있는가?

주요 결과

• NATs에서 직접 MLE를 적용하면 타겟 토큰의 주변 분포를 근사하지만 토큰 간 상호의존성을 상실하게 되며, 이 정보 손실은 데이터셋의 조건부 총상관도(C´)로 정량화된다.
• 지식 증류(KD)나 GLAT와 같은 이전 성공한 방법들은 원래 데이터보다 C´가 낮은 가짜 분포에서 암묵적으로 학습함으로써 정보 손실을 감소시킴을 입증하였다.
• 제안된 최대가짜우도추정(MPLE) 프레임워크는 가짜 분포에서의 우도 최대화로 기존 방법들을 통합하여 그 성공의 이론적 근거를 제공한다.
• 실증 결과는 가짜 분포의 C´가 생성 성능과 강한 상관관계를 가지며, 이를 최적화함으로써 우도는 낮아지더라도 BLEU 점수가 향상됨을 보여준다.
• WMT14 En-De에서 제안된 동적 KD + GLAT 방법은 BLEU 점수 30.8을 기록하여 MLE(BLEU 28.1)와 GLAT+KD(BLEU 29.5)를 모두 초월하며, 가짜 기반 접근의 효과를 입증한다.
• 이 방법은 다양한 벤치마크에서 뛰어난 성능을 보이며, WMT17 Zh-En 결과에서도 일관된 향상이 관찰되어 프레임워크의 일반화 능력을 검증한다.