[논문 리뷰] Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation

Kun Zhou, Yifan Li외 2명|arXiv (Cornell University)|2023. 05. 06.

Topic Modeling인용 수 7

한 줄 요약

Diffusion-NAT은 이산 확산 모델과 Seq2Seq PLM(BART)을 재구성하여 디노이징을 마스킹 토큰 회복으로 재정의하고, 비자 autoregressive 텍스트 생성을 위한 반복 개선 및 자기 프롬프트를 가능하게 하며, 종종 AR 모델을 능가한다.

ABSTRACT

Recently, continuous diffusion models (CDM) have been introduced into non-autoregressive (NAR) text-to-text generation. However, the discrete nature of text increases the difficulty of CDM to generate coherent and fluent texts, and also causes the incompatibility problem between CDM and advanced NLP techniques, especially the popular pre-trained language models~(PLMs). To solve it, we propose Diffusion-NAT, which introduces discrete diffusion models~(DDM) into NAR text-to-text generation and integrates BART to improve the performance. By revising the decoding process of BART and the typical settings of DDM, we unify the inference process of BART and the denoising process of DDM into the same NAR masked tokens recovering task. In this way, DDM can rely on BART to perform denoising, which can benefit from both the rich pre-learned knowledge of BART and the iterative refining paradigm of DDM. Besides, we also propose the iterative self-prompting strategy to further improve the generation quality. Experimental results on 7 datasets show that our approach can outperform competitive NAR methods, and even surpass autoregressive methods. Our code and data will be publicly released.

연구 동기 및 목표

• NAR 텍스트 생성을 위해 이산 확산을 사전 학습된 언어 모델(PLMs)과 통합하려는 동기를 제시한다.
• DDM 디노이징을 BART 추론과 결합하기 위한 통합 NMTR(마스크된 토큰 복구) 프레임워크를 개발한다.
• 호환성을 위해 병렬 마스킹 토큰 복구를 위한 BART 디코딩을 적용하고 시점 임베딩을 제거한다.
• 중간 출력에 대한 다단계 정제와 심층 숙고를 가능하게 하는 반복적 자기 프롬프팅을 도입한다.
• 일곱 개 데이터셋에서 경쟁적 NAR 방법 및 경쟁적 AR 기준선에 비해 개선을 입증한다.

제안 방법

• 목표 토큰을 점진적으로 [MASK]로 노이즈시키기 위해 흡수상태 [MASK]를 가진 이산 확산을 단계 전반에 걸쳐 사용한다.
• 각 단계에서 BART 인코더/디코더를 통해 비자기회귀 마스킹 토큰 복구를 수행하도록 BART 디코딩을 수정한다( Y_t -> Y_0 ).
• 시점 임베딩을 제거하고 Y_t와 C를 주어 원래 토큰 Y_0를 예측하도록 학습하여 NMTR 목표와 일치시킨다.
• Q_t를 포함하는 순방향 프로세스를 모델링하여 [MASK]를 흡수상태로 포함시켜 토큰을 점진적으로 마스킹한다.
• 모델이 자신의 이전 Y_0를 프롬프트로 사용하여 후속 생성을 다듬는 반복적 자기 프롬프팅을 도입한다.
• DDIM 스타일의 빠른 추론을 활용하고 프롬프트 기반 개선을 가능하게 하여 BART의 사전 학습 지식을 활용한다.

실험 결과

연구 질문

• RQ1 이산 확산을 BART와 효과적으로 통합하여 NAR 텍스트 생성을 가능하게 하되 추가 파라미터를 크게 늘리지 않는가?
• RQ2 확산 디노이징과 마스크된 토큰 복구를 통합하는 것이 기존 NAR 방법에 비해 생성 텍스트의 일관성과 다양성을 향상시키는가?
• RQ3 반복적 자기 프롬프팅이 PLM 기반 디노이징 과정에서 다-turn 심사를 가능하게 하여 품질에 유의미한 이득을 제공하는가?
• RQ4 대화, 요약, QA 등 다양한 텍스트 생성 작업 및 데이터셋에서 접근 방식의 성능은 어떠한가?
• RQ5 이산 확산과 NAR PLMs를 사용할 때 대기시간과 정확도 간의 트레이드오프는 어떠한가?

주요 결과

• 경쟁적 비자기회귀 방법을 능가하고 몇 가지 벤치마크에서 자동 회귀 모델조차 능가한다.
• PersonaChat에서 전반적 지표 및 다양성(distinct-1/2)에서 기준선 대비 눈에 띄는 이득을 달성한다.
• XSUM 및 SQuAD v1.1에서 ROUGE/BLEU/METEOR 기준으로 여러 AR 및 NAR 기준선과 경쟁하거나 이를 능가한다.
• MSNews, MSQG, CoQA에서 강한 ROUGE-L 및 F1 성능을 보여 다양한 작업에서 견고함을 입증한다.
• PersonaChat에 대한 인간 평가에서 AR 및 NAR 기준선에 비해 문맥 유창성은 경쟁적이고 정보성은 더 높다.