[論文レビュー] Diffusion-NAT: Self-Prompting Discrete Diffusion for Non-Autoregressive Text Generation

Kun Zhou, Yifan Li+2 more|arXiv (Cornell University)|May 6, 2023

Topic Modeling被引用数 7

ひとこと要約

Diffusion-NATは離散拡散モデルをBARTと統合し、自己 promptingを用いて出力を反復的に改良することで、非自回帰テキスト生成の品質を向上させ、ARモデルをしばしば上回る。

ABSTRACT

Recently, continuous diffusion models (CDM) have been introduced into non-autoregressive (NAR) text-to-text generation. However, the discrete nature of text increases the difficulty of CDM to generate coherent and fluent texts, and also causes the incompatibility problem between CDM and advanced NLP techniques, especially the popular pre-trained language models~(PLMs). To solve it, we propose Diffusion-NAT, which introduces discrete diffusion models~(DDM) into NAR text-to-text generation and integrates BART to improve the performance. By revising the decoding process of BART and the typical settings of DDM, we unify the inference process of BART and the denoising process of DDM into the same NAR masked tokens recovering task. In this way, DDM can rely on BART to perform denoising, which can benefit from both the rich pre-learned knowledge of BART and the iterative refining paradigm of DDM. Besides, we also propose the iterative self-prompting strategy to further improve the generation quality. Experimental results on 7 datasets show that our approach can outperform competitive NAR methods, and even surpass autoregressive methods. Our code and data will be publicly released.

研究の動機と目的

• 離散拡散を事前学習済み言語モデル（PLMs）とNARテキスト生成へ統合する動機付け。
• DDMデノイジングとBART推論を結ぶ統一的なNMTR（マスクトークン回復）フレームワークの開発。
• BARTデコodingを並列マスクトークン回復に適応し、時刻埋め込みを取り除いて互換性を確保。
• 反復的自己 promptingを導入して中間出力の多ターンの精緻化と熟議を可能に。
• 競合するNAR手法と競争力のあるARベースラインに対する７データセットでの改善を実証。

提案手法

• 抽象的な[MASK]状態を吸収状態として離散拡散を用い、ターゲットトークンを段階的に[MASK]へノイズ化していく。
• 各ステップでBARTエンコーダ/デコーダを用いて非自動回帰のマスクトークン回復を実行し（Y_t -> Y_0）、BARTデコodingを改訂。
• 時刻埋め込みを除去し、Y_tとCを与えて元のトークンY_0を予測するよう訓練し、NMTR目的と整合させる。
• 前向き過程をQ_tで[MASK]を吸収状態としてtokensを徐々にマスクするようモデル化。
• 自己 promptingを導入し、モデルが自身の前回のY_0をプロンプトとして用いて後続生成を改良する。
• DDIMスタイルの高速推論を活用し、プロンプトベースの改良を可能にしてBARTの事前学習知識を活用。

実験結果

リサーチクエスチョン

• RQ1 離散拡散をBARTと効果的に統合してNARテキスト生成を実現できるか。追加パラメータを多く導入せずに実現可能か。
• RQ2 拡散デノイジングとマスクトークン回復の統一が、既存のNAR手法と比較して生成文の一貫性と多様性を改善するか。
• RQ3 反復的自己 promptingは、PLMベースの denoising過程において多ターンの熟議を可能にすることで品質に意味のある改善をもたらすか。
• RQ4 対話、要約、QAなど多様なテキスト生成タスクとデータセットでの性能はどうか。
• RQ5 離散拡散をNAR PLMsと併用する際の待機時間と精度のトレードオフはどの程度か。

主な発見

• 競合する非自動回帰手法を上回り、複数のベンチマークでARモデルをも超えることもある。
• PersonaChatでは総合指標と多様性（distinct-1/2）でベースラインに対して顕著な改善を達成。
• XSUMおよびSQuAD v1.1では、ROUGE/BLEU/METEORの面で複数のARおよびNARベースラインと競合する、あるいはそれを上回る。
• MSNews、MSQG、CoQAではROUGE-LとF1の性能が高く、タスクを横断して堅牢性を示す。
• PersonaChatにおける人間評価では、ARおよびNARベースラインと比べて流暢さが競合的で情報量が高い。