[논문 리뷰] Parallel Iterative Edit Models for Local Sequence Transduction

Abhijeet Awasthi, Sunita Sarawagi외 3명|arXiv (Cornell University)|2019. 10. 07.

Natural Language Processing Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 문법 오류 수정(GEC)과 같은 국소적 시퀀스 변환 작업을 위한 비자기적 순서 시퀀스 레이블링 방법인 병렬 반복 편집(PIE) 모델을 제안한다. 토큰 대신 편집 연산(예: 복사, 삽입, 대체)을 예측하고 예측을 반복적으로 개선하며, BERT 로짓을 편집과 그 인수들로 분해함으로써, 자동적 순서 모델 대비 5–15배 빠른 추론 지연을 줄이면서도 거의 최첨단 성능을 달성한다.

ABSTRACT

We present a Parallel Iterative Edit (PIE) model for the problem of local sequence transduction arising in tasks like Grammatical error correction (GEC). Recent approaches are based on the popular encoder-decoder (ED) model for sequence to sequence learning. The ED model auto-regressively captures full dependency among output tokens but is slow due to sequential decoding. The PIE model does parallel decoding, giving up the advantage of modelling full dependency in the output, yet it achieves accuracy competitive with the ED model for four reasons: 1.~predicting edits instead of tokens, 2.~labeling sequences instead of generating sequences, 3.~iteratively refining predictions to capture dependencies, and 4.~factorizing logits over edits and their token argument to harness pre-trained language models like BERT. Experiments on tasks spanning GEC, OCR correction and spell correction demonstrate that the PIE model is an accurate and significantly faster alternative for local sequence transduction.

연구 동기 및 목표

• GEC와 같은 국소적 시퀀스 변환 작업에서 자동적 순서 인코더-디코더 모델의 높은 추론 지연을 해결하기 위해.
• 순차적 생성 없이도 경쟁 가능한 정확도를 유지하면서도 빠른 병렬 디코딩 대안을 개발하기 위해.
• 시퀀스 변환을 입력 토큰 위에서의 편집 레이블링으로 재정의하여 복잡도를 낮추고 효율성을 향상시키기 위해.
• 비자기적 순서 편집 예측 프레임워크에서 BERT와 같은 사전 훈련된 양방향 언어 모델을 효과적으로 활용하기 위해.
• 반복적 개선과 편집 공간 분해가 자동적 순서 생성 없이도 의존성을 포착하는 데 얼마나 효과적인지 입증하기 위해.

제안 방법

• 모델은 국소적 시퀀스 변환을 시퀀스 레이블링 작업으로 간주하여, 출력 토큰을 생성하는 대신 각 입력 토큰에 편집 연산(예: 복사, 삽입, 대체)을 할당한다.
• 모델은 토큰 간에 일반화되는 컴act한 편집 공간을 사용하며, 더 높은 정확도를 위해 삽입을 이전 편집과 병합하는 복합 편집도 포함한다.
• 자신의 예측을 반복적으로 네트워크에 다시 입력하여 다중 라운드의 수정을 수행함으로써 반복적 개선을 수행한다.
• 최종 로짓 레이어를 편집 유형과 그 토큰 인수들로 분해함으로써, 사전 훈련된 BERT 스타일의 양방향 인코더를 효과적으로 활용할 수 있다.
• 모든 편집을 동시에 예측함으로써 병렬 디코딩을 지원하여 추론 시간을 크게 단축시킨다.
• 일반화 능력을 향상시키기 위해 대규모 정확한 문장 코퍼스를 활용해 언어 모델 구성 요소를 사전 훈련한다.

실험 결과

연구 질문

• RQ1 비자기적이고 병렬 디코딩 모델이 GEC와 같은 국소적 시퀀스 변환 작업에서 자동적 순서 모델과 경쟁 가능한 정확도를 달성할 수 있는가?
• RQ2 출력 토큰 대신 편집 연산을 예측하는 것이 모델 복잡도를 줄이고 추론 속도를 향상시키는 데 얼마나 효과적인가?
• RQ3 반복적 개선이 완전한 자동적 순서 의존성 모델링의 부족을 어느 정도 보완할 수 있는가?
• RQ4 BERT와 같은 사전 훈련된 양방향 언어 모델이 로짓 분해를 통해 편집 예측에 효과적으로 적응할 수 있는가?
• RQ5 GEC, OCR 수정, 철자 수정 작업에서 기존 최첨단 모델과 비교해 제안된 방법은 속도와 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• PIE 모델은 빔 서치를 사용하는 경쟁적 자동적 순서 모델(Lichtarge et al., 2019) 대비 5~15배 더 빠른 디코딩 속도를 달성한다.
• 표준 GEC 데이터셋에서 PIE는 거의 최첨단 성능을 보이며, 자동적 순서 모델과 정확도가 유사하거나 근접한다.
• 삽입을 이전 편집과 병합하는 복합 편집을 사용할 경우, 삽입을 별도로 예측하는 것보다 더 높은 정확도를 달성한다.
• 반복적 개선은 편집 간의 의존성을 암묵적으로 모델링함으로써 예측 품질을 크게 향상시킨다.
• BERT 로짓을 편집 유형과 그 인수들로 분해함으로써, 편집 예측에 대해 양방향 컨텍스트를 효과적으로 활용할 수 있다.
• OCR 수정 및 철자 수정 작업에서도 모델은 기존에 특별히 이러한 작업에 최적화된 모델들을 능가하거나 동등하게 성능을 내며 강력한 일반화 능력을 보였다.