[논문 리뷰] Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search

Chris Hokamp, Qun Liu|arXiv (Cornell University)|2017. 04. 24.

Natural Language Processing Techniques인용 수 35

한 줄 요약

이 논문은 재학습 없이 어휘 제약(예: 필수 단어 또는 어구)을 강제하는 데에 특화된 새로운 디코딩 알고리즘인 그리드 비트 서치(Gird Beam Search, GBS)를 소개한다. GBS는 비트 서치의 격자에 제약 조건을 통합함으로써 신경 기계 번역(NMT) 품질을 크게 향상시키며, 특히 상호작용적 및 도메인 적응 시나리오에서 유의미한 성능 향상을 이룬다. 어휘 제약 조건이 도메인 용어에서 자동으로 유도되더라도 성능 향상이 이루어진다.

ABSTRACT

We present Grid Beam Search (GBS), an algorithm which extends beam search to allow the inclusion of pre-specified lexical constraints. The algorithm can be used with any model that generates a sequence $ \mathbf{\hat{y}} = \{y_{0}\ldots y_{T}\} $, by maximizing $ p(\mathbf{y} | \mathbf{x}) = \prod\limits_{t}p(y_{t} | \mathbf{x}; \{y_{0} \ldots y_{t-1}\}) $. Lexical constraints take the form of phrases or words that must be present in the output sequence. This is a very general way to incorporate additional knowledge into a model's output without requiring any modification of the model parameters or training data. We demonstrate the feasibility and flexibility of Lexically Constrained Decoding by conducting experiments on Neural Interactive-Predictive Translation, as well as Domain Adaptation for Neural Machine Translation. Experiments show that GBS can provide large improvements in translation quality in interactive scenarios, and that, even without any user input, GBS can be used to achieve significant gains in performance in domain adaptation scenarios.

연구 동기 및 목표

• 모델 파라미터를 수정하거나 재학습하지 않고도 사용자 지정 또는 도메인 특화된 어휘 제약(예: 어구 또는 단어)을 시퀀스 생성 출력에 포함시킬 수 있도록 하는 것.
• 표준 비트 서치의 효율성과 확장성을 유지하면서도 출력에 반드시 포함되어야 할 부분 시퀀스가 존재하도록 보장하는 디코딩 알고리즘을 개발하는 것.
• 신경 기계 번역(NMT)에서 상호작용적 기계 번역 및 도메인 적응에 있어 어휘 제약이 있는 디코딩의 효과를 평가하는 것.
• 어휘 제약 조건이 도메인 용어에서 자동으로 유도된 경우에도 GBS가 상당한 성능 향상을 달성할 수 있음을 보여주는 것.

제안 방법

• GBS는 표준 비트 서치를 확장하여 가설을 2차원 격자로 구성하며, 한 축은 시간에 따른 생성 진도를, 다른 축은 각 어휘 제약 조건의 진행 상황을 추적한다.
• 격자의 각 셀은 k개의 최상위 가설을 저장하며, 각 가설은 출력 시퀀스 내 위치와 각 제약 조건의 상태(미시작, 진행 중, 완료)를 추적한다.
• 각 디코딩 단계에서 기존 가설을 확장하여 새로운 가설을 생성하며, 제약 조건이 조기에 기각되거나 위반되지 않도록 특수 처리를 한다.
• 동적 프로그래밍 방식을 사용해 제약 조건을 검색 공간을 통해 전파함으로써, 최종 출력의 모든 가설이 지정된 모든 어휘 제약 조건을 포함하도록 보장한다.
• 제약 조건은 출력 어디에선가 나타나야 하는 부분 시퀀스로 표현되며, 길이가 다른 여러 동시 제약 조건을 지원한다.
• 디코딩 과정은 모델에 종속되지 않으며, 자동 회귀적 확률 추정을 사용해 토큰 단위로 출력을 생성하는 모든 시퀀스 모델에 적용 가능하다.

실험 결과

연구 질문

• RQ1 모델 재학습 없이도 임의의 어휘 제약 조건을 강제할 수 있는 비트 서치 변종을 설계할 수 있는가?
• RQ2 어휘 제약이 있는 디코딩은 상호작용적 기계 번역 시나리오에서 번역 품질 향상에 얼마나 효과적인가?
• RQ3 어휘 기반 제약 조건만을 사용해도 GBS가 신경 기계 번역(NMT)의 도메인 적응에서 의미 있는 성능 향상을 달성할 수 있는가?
• RQ4 입력-출력 대응 관계에 의존하지 않는 모델에 적용했을 때도 이 방법은 효율적이고 확장 가능한가?

주요 결과

• GBS는 사용자 수정 사항을 어휘 제약 조건으로 간주하고 재생성에 이를 유도하는 상호작용적 기계 번역 환경에서 번역 품질을 크게 향상시킨다.
• 사용자 입력이 없더라도 GBS는 도메인 특화 용어를 제약 조건으로 통합함으로써 도메인 적응에서 상당한 성능 향상을 달성한다.
• 특히 정밀한 어휘 제어가 필요한 시나리오에서 표준 비트 서치 및 기존의 제약이 있는 디코딩 방법보다 우수한 성능을 보인다.
• 어휘 제약 조건이 도메인 용어에서 자동으로 추출되더라도 이 방법이 효과적이며, 강건성과 실용성을 입증한다.
• GBS는 표준 비트 서치와 비슷한 계산 효율성을 유지하므로 실시간 응용에 적합하다.