[논문 리뷰] DiffusER: Discrete Diffusion via Edit-based Reconstruction

Machel Reid, Vincent J. Hellendoorn외 1명|arXiv (Cornell University)|2022. 10. 30.

Topic Modeling인용 수 8

한 줄 요약

DiffusER는 편집 기반 재구성(삽입, 삭제, 대체, 유지)을 통해 반복적으로 작동하는 이산 확산 모델로, 번역, 요약, 스타일 전이 등의 작업에서 민첩하고 제어 가능하며 고성능의 텍스트 생성을 가능하게 한다. 기존 자동회귀 모델에 비해 성능을 유사하거나 초월하며, 모델이 생성한 텍스트의 수정도 지원한다.

ABSTRACT

In text generation, models that generate text from scratch one token at a time are currently the dominant paradigm. Despite being performant, these models lack the ability to revise existing text, which limits their usability in many practical scenarios. We look to address this, with DiffusER (Diffusion via Edit-based Reconstruction), a new edit-based generative model for text based on denoising diffusion models -- a class of models that use a Markov chain of denoising steps to incrementally generate data. DiffusER is not only a strong generative model in general, rivalling autoregressive models on several tasks spanning machine translation, summarization, and style transfer; it can also perform other varieties of generation that standard autoregressive models are not well-suited for. For instance, we demonstrate that DiffusER makes it possible for a user to condition generation on a prototype, or an incomplete sequence, and continue revising based on previous edit steps.

연구 동기 및 목표

• 자기회귀 모델이 생성한 텍스트를 수정하거나 편집하는 데에 한계가 있어 실무적 콘텐츠 제작 워크플로우에서의 활용도가 떨어지는 문제를 해결한다.
• 단일 패assing 자기회귀 생성을 넘어서 프로토타입, 부분적인 시퀀스 또는 이전 편집에 조건을 주는 등 민첩한 텍스트 생성을 가능하게 한다.
• 확산 모델의 강점(점진적 노이즈 제거)과 편집 기반 생성을 융합하여 일반적인 목적의, 미분 가능하고 제어 가능한 텍스트 생성 프레임워크를 구축한다.
• 외부 지도 학습 데이터가 필요 없이도 표준 NLP 작업에서 자기회귀 모델과 동등하거나 뛰어난 성능을 달성할 수 있음을 입증한다.
• 자기회귀 모델과 편집 기반 생성 간의 상호운용성을 제공하여, 이산 토큰 공간에서 직접적으로 출력에 편집을 적용할 수 있도록 한다.

제안 방법

• 각 단계에서 삽입, 삭제, 대체, 유지 편집 연산을 적용하여 손상된 상태나 초기 상태에서 목표 시퀀스를 점진적으로 재구성하는 방식으로, 텍스트 생성을 마르코프 체인의 노이즈 제거 단계로 설정한다.
• 학습을 위해 합성된 편집 기반의 손상 및 재구성 과정을 정의하여, 모델이 참조 텍스트에 적용된 무작위 편집 시퀀스를 역으로 복원하도록 학습시킨다.
• 시간 단계 수준과 토큰 수준의 결정을 동시에 최적화하여 생성 품질과 효율성을 향상시키는 2차원 비트 서치 디코딩 전략을 도입한다.
• 이산 토큰 시퀀스에서 직접 작동하는 확산 과정을 사용하며, 노이즈 스케줄에 따라 유도되는 편집 연산의 시퀀스로 역방향 과정을 모델링한다.
• 손상된 시퀀스를 참조 시퀀스로 변환하기 위해 필요한 진짜 편집과 예측 편집 간의 차이를 최소화하는 노이즈 제거 목표를 사용해 모델을 학습시킨다.
• 예를 들어 프로토타입, 부분적 출력 등 임의의 입력 시퀀스에 조건을 주기 위해, 이러한 입력으로부터 확산 과정을 초기화하고 최종 출력 향해 편집을 적용한다.

실험 결과

연구 질문

• RQ1 편집 연산을 기반으로 학습된 확산 모델이 기계 번역 및 요약과 같은 표준 NLP 작업에서 자기회귀 모델과 동등한 성능을 달성할 수 있는가?
• RQ2 편집 기반 확산은 얼마나 높은 수준의 제어 및 상호작용 가능한 텍스트 생성을 가능하게 하는가? 예를 들어, 모델 출력을 수정하거나 부분적인 프롬프트에서 생성하는 것과 같은 경우에 대해.
• RQ3 표준 자기회귀 및 비자기회귀 생성 방법과 비교했을 때, 편집 기반 확산 과정은 효율성과 품질 측면에서 어떻게 다른가?
• RQ4 특정 작업에 맞춘 미세조정 없이도, 모델이 스타일 전이 및 개괄적 요약과 같은 다양한 텍스트 생성 작업에 일반화할 수 있는가?
• RQ5 비트 서치, 핵심 샘플링 등의 디코딩 전략은 편집 기반 확산에서 추론 속도와 생성 품질 간의 상호 보완적 관계에 어떤 영향을 미치는가?

주요 결과

• DiffusER는 기계 번역(WMT’14 En-De), 개괄적 요약(CNN/DailyMail), 스타일 전이 작업에서 강력한 자기회귀 모델과 동등하거나 뛰어난 성능을 달성한다.
• 사용자가 프로토타입이나 부분적인 시퀀스에 조건을 주고 반복적으로 출력을 수정하는 편집 단계를 통해, 모델이 강력한 제어성을 보여준다.
• 표준 비트 서치와 비교해 2차원 비트 서치 디코딩은 생성 품질을 크게 향상시키지만, 추론 시간이 증가하는 비용이 수반된다.
• 초기 확산 단계에서 빠른 성능 향상이 관찰되며, 약 20~30단계 이후 성능이 수렴하여 더 이상의 노이즈 제거 단계에서의 수익 감소가 나타난다.
• 비록 추론 속도가 느리지만, 이 방법은 제약 조건이 있는 생성 및 편집 기반 생성에 실용적일 수 있으며, 향후 효율적인 디코딩 알고리즘 최적화의 잠재력이 있음을 시사한다.
• 편집 기반 과정은 다른 모델의 출력을 후처리 편집으로 자연스럽게 지원하여, 이산 텍스트 공간에서의 모델 상호운용성의 새로운 패러다임을 제공한다.