[논문 리뷰] Non-Autoregressive Translation by Learning Target Categorical Codes

Yu Bao, Shujian Huang외 4명|arXiv (Cornell University)|2021. 03. 21.

Natural Language Processing Techniques참고 문헌 24인용 수 4

한 줄 요약

이 논문은 벡터 양자화와 조건부 랜덤 필드를 통해 목표 시퀀스의 종속성을 모델링하는 비자기적 Transformer 모델인 CNAT을 제안한다. 이는 암묵적인 분류 코드를 학습함으로써 번역 품질을 크게 향상시킨다. 이 방법은 지식 정렬 없이도 최신 기준 성능을 달성하며, BLEU 점수에서 강력한 기준 모델을 따라하거나 초월하면서도 높은 추론 속도를 유지한다.

ABSTRACT

Non-autoregressive Transformer is a promising text generation model. However, current non-autoregressive models still fall behind their autoregressive counterparts in translation quality. We attribute this accuracy gap to the lack of dependency modeling among decoder inputs. In this paper, we propose CNAT, which learns implicitly categorical codes as latent variables into the non-autoregressive decoding. The interaction among these categorical codes remedies the missing dependencies and improves the model capacity. Experiment results show that our model achieves comparable or better performance in machine translation tasks, compared with several strong baselines.

연구 동기 및 목표

• 목표 시퀀스 생성 시 종속성을 모델링하여 비자기적 기계 번역 모델과 자기적 모델 간의 성능 격차를 해소한다.
• 크고 이질적인 이산 코드북이나 외부 문법 분석기 의존성이 큰 기존의 잠재 변수 방법의 한계를 극복한다.
• 비지도 방식으로 의미 있는 저차원의 분류 코드를 학습하여 목표 언어 측 종속성을 암묵적으로 표현한다.
• 학습 중 게이트드 신경망과 스케줄링 샘플링을 통해 모델의 강인성과 성능을 향상시킨다.
• 최소한의 계산 부담으로 경쟁 가능한 번역 품질을 달성하면서도 비자기적 디코딩의 속도 우수성을 유지한다.

제안 방법

• 작은 수의 잠재 코드(128 미만)로 목표 표현을 이산화하기 위해 벡터 양자화를 사용하며, 각 코드를 흐린 단어 클래스 표현으로 간주한다.
• 목표 언어의 구조적 관계를 포착하기 위해 잠재 코드 간의 순차적 종속성을 조건부 랜덤 필드(CRF)로 모델링한다.
• 소스 표현과 잠재 코드를 조합하는 게이트드 신경망을 통해 디코더 입력을 구성함으로써 특징 통합을 향상시킨다.
• 노출 오차를 줄이고 일반화 능력을 향상시키기 위해 학습 중 모델의 자체 예측에 노출시키는 스케줄링 샘플링을 적용한다.
• 재구성과 종속성 모델링을 동시에 최적화하기 위해 변동형 하한 목표 함수를 사용하여 모델을 엔드 투 엔드로 훈련한다.
• 길이 예측과 소프트 어텐션 기반 입력 초기화를 통해 병렬로 전체 목표 시퀀스를 생성한다.

실험 결과

연구 질문

• RQ1 벡터 양자화를 통해 학습된 암묵적 분류 코드가 비자기적 번역에서 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 잠재 코드 종속성을 CRF로 모델링할 경우, 독립적 또는 히우리스틱적 코드 할당 방식에 비해 번역 품질은 얼마나 향상되는가?
• RQ3 작은 코드북(예: 128 미만)이 성능 향상에 기여하는 데 있어 큰 코드북이나 외부 문법 분석기의 역할을 어느 정도 대체할 수 있는가?
• RQ4 게이트드 네트워크와 스케줄링 샘플링의 사용이 비자기적 모델의 강인성과 일반화 능력을 향상시키는가?
• RQ5 제안된 방법이 지식 정렬이나 반복 보정 없이도 최신 기준 성능을 달성할 수 있는가?

주요 결과

• CNAT는 지식 정렬 없이 WMT14 및 IWSLT14 번역 벤치마크에서 새로운 최신 기준 성능을 달성한다.
• WMT14 En-De에서 BLEU 점수 30.2를 기록하여 강력한 비자기적 기준 모델을 능가하며, 자기적 모델에 가까운 성능을 보였다.
• IWSLT14에서 CNAT는 En-De 번역에서 BLEU 점수 31.8을 기록하여 다양한 도메인에 걸쳐 뛰어난 일반화 능력을 입증했다.
• 클러스터링 평가 결과, 학습된 잠재 코드는 품사 태그와 함께 V-측정 0.56을 기록하여 의미적으로 품사 카테고리와 강한 일치를 보였다.
• 품사 태그 일치에 대한 H-스코어 0.70은 각 잠재 코드가 일관되고 순수한 언어학적 카테고리에 대응함을 확인했다.
• 사례 연구 결과, 상위 잠재 코드들은 날카로운 품사 태그 분포를 보이며, 학습된 코드가 의미 있는 언어학적 구조를 포착하고 있음을 확인했다.