[논문 리뷰] DINOISER: Diffused Conditional Sequence Learning by Manipulating Noises

Jiasheng Ye, Zaixiang Zheng외 3명|arXiv (Cornell University)|2023. 02. 20.

Music and Audio Processing인용 수 9

한 줄 요약

DiNoiSer는 노이즈 스케일 클리핑과 조건 인식 확산 샘플링을 도입하여 확산 기반의 조건부 시퀀스 학습을 개선하고, 다국어 벤치마크에서 번역 및 텍스트 생성 품질을 향상시킵니다.

ABSTRACT

While diffusion models have achieved great success in generating continuous signals such as images and audio, it remains elusive for diffusion models in learning discrete sequence data like natural languages. Although recent advances circumvent this challenge of discreteness by embedding discrete tokens as continuous surrogates, they still fall short of satisfactory generation quality. To understand this, we first dive deep into the denoised training protocol of diffusion-based sequence generative models and determine their three severe problems, i.e., 1) failing to learn, 2) lack of scalability, and 3) neglecting source conditions. We argue that these problems can be boiled down to the pitfall of the not completely eliminated discreteness in the embedding space, and the scale of noises is decisive herein. In this paper, we introduce DINOISER to facilitate diffusion models for sequence generation by manipulating noises. We propose to adaptively determine the range of sampled noise scales for counter-discreteness training; and encourage the proposed diffused sequence learner to leverage source conditions with amplified noise scales during inference. Experiments show that DINOISER enables consistent improvement over the baselines of previous diffusion-based sequence generative models on several conditional sequence modeling benchmarks thanks to both effective training and inference strategies. Analyses further verify that DINOISER can make better use of source conditions to govern its generative process.

연구 동기 및 목표

• 확산 모델이 이산 시퀀스 학습에서 직면하는 주요 한계(이산성 함정, 확장성, 출처 조건의 활용 부족)를 파악한다.
• 적응적 노이즈 스케일 조작을 통해 이산성을 완화하는 학습 및 추론 전략을 개발한다.
• 기본값 대비 여러 조건 시퀀스 작업(기계 번역, 텍스트 단순화, 의역)에서 성능 향상을 입증한다.
• 노이즈 스케일이 출처 조건 및 생성 품질에 미치는 영향을 분석한다.

제안 방법

• 이산 시퀀스에서 임베딩 기반 확산의 한계를 분석하고 노이즈 스케일과의 연관성을 밝힌다.
• 작은 노이즈 영역에서의 학습을 방지하고 임베딩 공간 특성에 맞는 임계값으로 클리핑을 조정하기 위해 노이즈 스케일 클리핑을 도입한다.
• 추론 시 높은 노이즈 지시자로 의존성을 강제하는 CeDi(-조건 강화 디노이저)를 제안한다.
• 출처 조건 생성에 중점을 두기 위해 타임스텝 및 이중 타임스텝 스케줄을 수정한 DDIM 유사 샘플링을 채택한다.
• 잠재 변수 확산 프레임워크 내에서 최소 노이즈 임계값 및 재구성 항을 갖는 러닝 목표 L'diffusion를 제공한다.

실험 결과

연구 질문

• RQ1 적응형 노이즈 스케일링이 확산 기반 시퀀스 학습의 이산성 함정을 완화할 수 있는가?
• RQ2 학습 시 더 높은 최소 노이즈 스케일을 강제하면 조건부 생성 품질이 향상되는가?
• RQ3 CeDi 샘플링으로 추론 시 모델의 출처 조건 사용이 개선되는가?
• RQ4 DiNoiSer는 다국어 MT, 텍스트 단순화 및 의역에서 자가회귀, CMLM 및 이전 확산 기반 시퀀스 모델과 비교해 어떤 성능 차이가 있는가?

주요 결과

방법	IWSLT14 De→En	WMT14 En→De	WMT16 De→En	De→En	Ro→En	En→Ro
Transformer (AR, beam=5)	33.61	28.30	30.55	26.85	33.08	32.86
CMLM (NAR, LB=5)	29.41	24.33	28.71	23.22	31.13	31.26
CMLM (NAR, LB=5, MBR=1)	29.32	24.34	28.43	23.09	31.07	30.92
DiffusionLM (LB=5, MBR=1)	26.61	20.29	17.31	15.33	28.61	27.01
DiffusionLM (LB=5, MBR=10)	29.11	22.91	19.69	17.41	30.17	29.39
CDCD (MBR=10)	-	-	25.40	19.70	-	-
CDCD (MBR=100)	-	-	26.00	20.00	-	-
Difformer (LBxMBR=20)	-	-	-	23.80	-	-
DiffuSeq (KD, LBxMBR=10)	-	-	-	15.37	-	25.45
SeqDiffuSeq (KD, LBxMBR=10)	-	-	-	17.14	-	26.17
DiNoiSer (LB=5, MBR=1)	31.29	25.55	28.83	24.25	31.14	30.93
DiNoiSer (LB=5, MBR=10)	31.61	25.70	29.05	24.26	31.22	31.08
DiNoiSer (LB=10, MBR=5)	31.44	26.14	29.01	24.62	31.24	31.03
DiNoiSer (KD, LB=10, MBR=5)	-	-	30.30	25.88	33.13	32.84

• DiNoiSer는 이산성 기반의 함정 완화 및 다국어 MT, 텍스트 단순화, 의역 등 여러 조건 시퀀스 작업에서 확산 기반 기준선 대비 일관된 개선을 달성한다.
• 노이즈 스케일 클리핑 전략으로 작은 노이즈 영역에서의 학습을 방지하여 이산성 함정을 완화한다.
• CeDi를 통한 대노이즈 지시자 추론은 출처 조건에 대한 의존을 증가시키고 잘못된 허위 진술(hallucination)을 줄인다.
• 향상된 학습(노이즈 클리핑)과 향상된 추론(CeDi 샘플링)이 성능 향상에 기여한다는 것을 확인하는 제거 연구 Ablation이 수행되었다.
• 사후 분석에서 조건 강화 디노이저가 출처 조건을 더 잘 활용하여 정확한 예측을 도출한다.