[논문 리뷰] Insertion-Deletion Transformer

Laura Ruis, Mitchell Stern외 2명|arXiv (Cornell University)|2020. 01. 15.

Natural Language Processing Techniques참고 문헌 11인용 수 7

한 줄 요약

이 논문은 두 개의 트랜스포머 디코더를 사용하여 삽입 및 삭제 단계를 번갈아가며 작동하는 새로운 시퀀스 생성 프레임워크인 Insertion-Deletion Transformer를 소개한다. 삽입 오류를 기반으로 온-폴리시(On-policy) 삭제 학습을 가능하게 함으로써, 텍스트 편집 및 번역과 같은 작업에서 더 높은 정확도와 유연성을 확보한 채로 BLEU 점수를 크게 향상시켰다. 이는 이동된 알파벳 문자열에서 91.49 대 70.15, 카이저의 암호에서 37.57 대 35.55로 개선된 결과를 보였다.

ABSTRACT

We propose the Insertion-Deletion Transformer, a novel transformer-based neural architecture and training method for sequence generation. The model consists of two phases that are executed iteratively, 1) an insertion phase and 2) a deletion phase. The insertion phase parameterizes a distribution of insertions on the current output hypothesis, while the deletion phase parameterizes a distribution of deletions over the current output hypothesis. The training method is a principled and simple algorithm, where the deletion model obtains its signal directly on-policy from the insertion model output. We demonstrate the effectiveness of our Insertion-Deletion Transformer on synthetic translation tasks, obtaining significant BLEU score improvement over an insertion-only model.

연구 동기 및 목표

• 삽입 전용 모델의 한계를 해결하기 위해 반복적인 보완이 가능한 삭제 단계를 도입함으로써 생성 오류를 수정할 수 있도록 한다.
• 이전 연구와 마찬가지로 복잡한 전문가 정책이나 토큰 수 예측을 필요로 하지 않는 단순화된 학습 프레임워크를 개발한다.
• 병렬 토큰 생성을 지원하고 텍스트 간소화 및 스타일 전이와 같은 편집 작업에 적합한 비자기적(Non-autoregressive) 시퀀스 생성을 가능하게 한다.
• 온-폴리시 삭제 학습이 아키텍처나 학습 복잡도의 증가 없이도 합성 작업에서 시퀀스 생성 품질을 크게 향상시킨다는 것을 입증한다.

제안 방법

• 모델은 두 단계의 반복적 프로세스를 거친다: 첫 번째로, 표준 삽입 트랜스포머를 사용하여 다양한 위치에 토큰을 삽입함으로써 후보 출력을 생성하는 삽입 단계.
• 두 번째로, 삽입 모델의 출력을 기반으로 잘못되거나 중복된 토큰을 제거하는 삭제 단계를 적용한다.
• 삭제 학습은 온-폴리시 신호를 사용한다: 삭제 모델은 삽입 모델의 출력에서 샘플링된 시퀀스(그 오류 포함)를 직접 기반으로 학습되어 종단 간 보완이 가능해진다.
• 삽입 및 삭제 단계는 별도의 트랜스포머 디코더 헤드로 구현되며, 삭제 헤드는 삽입 모델이 생성한 시퀀스를 입력으로 받는다.
• 이 프레임워크는 병렬 생성을 지원하며, 다양한 길이의 입력 및 출력 시퀀스에 적용 가능하며, 모든 위치가 종료 시퀀스를 예측할 때까지 생성을 종료한다.
• 학습 과정에서 동적 프ogram밍이나 보조 분류기(Levenshtein Transformer와 마찬가지로)를 사용하지 않아 학습 및 추론을 단순화한다.

실험 결과

연구 질문

• RQ1 합성 작업에서 삽입 전용 모델에 비해 이중 단계의 삽입-삭제 프레임워크가 시퀀스 생성 품질을 향상시킬 수 있는가?
• RQ2 삽입 모델의 자체 출력을 기반으로 하는 온-폴리시 삭제 학습이 오프-폴리시 또는 전문가 기반 방법보다 성능을 향상시키는가?
• RQ3 삽입-삭제 프레임워크가 원본 시퀀스에서 시작함으로써 텍스트 간소화나 스타일 전이와 같은 텍스트 편집 작업을 효율적으로 처리할 수 있는가?
• RQ4 고도로 다양하고 비순차적인 입력 시퀀스를 포함한 과제(예: 카이저의 암호)에서 삭제 단계는 수렴성과 BLEU 점수에 어떤 영향을 미치는가?
• RQ5 특히 추론 속도와 학습 복잡도 측면에서 Levenshtein Transformer와 같은 기존의 삽입-삭제 프레임워크에 비해 더 단순하고 효율적인가?

주요 결과

• Insertion-Deletion Transformer는 이동된 알파벳 문자열 작업에서 삽입 전용 모델의 70.15에 비해 BLEU 점수 91.49를 기록했다.
• 더 복잡한 카이저의 암호 작업에서는 삽입 전용 기준 35.55에서 37.57로 BLEU 점수가 향상되어 비순차적이고 다양한 입력 시퀀스에 대한 강건성을 입증했다.
• 삽입 모델이 유도한 오류를 삭제 단계가 효과적으로 수정했음을 BLEU 점수의 일관된 향상으로 확인할 수 있었다.
• 대안적 삭제 학습(Adversarial deletion training)은 합성 작업에서 성능 향상을 이끌지 못했으며, 삽입 모델의 출력을 직접 기반으로 한 온-폴리시 감독이 충분하고 효과적임을 시사한다.
• 보조 토큰 수 예측 기능이 없는 두 개의 트랜스포머 디코더만으로 구성된 이 프레임워크는 Levenshtein Transformer와 같은 모델에 비해 더 낮은 학습 및 추론 복잡도를 기록한다.
• 삽입과 삭제 단계를 번갈아 적용함으로써 모델은 효율적인 반복적 보완을 가능하게 하며, 병렬화가 가능한 비자기적 생성을 지원함으로써 향후 응용 가능성을 넓힌다.