[논문 리뷰] Learning to Segment Inputs for NMT Favors Character-Level Processing

Julia Kreutzer, Artem Sokolov|arXiv (Cornell University)|2018. 10. 02.

Natural Language Processing Techniques참고 문헌 27인용 수 25

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 종단간 훈련 가능한 동적 세그멘테이션 메커니즘을 제안하며, 고정된 서브워드 또는 문자 수준 토크나이제이션 대신 Graves(2016)의 적응형 계산 시간 기반의 유연하고 학습 가능한 세그멘테이션 과정을 도입한다. 모델은 할팅 유닛을 사용해 입력 문자를 가변 길이의 세그먼트로 그룹화하는 방식으로 학습하며, 실험 결과는 항상 (거의) 문자 수준 세그멘테이션을 선호함을 보여주어 순수한 문자 수준 NMT 모델이 서브워드 또는 단어 수준 대안보다 타당함을 뒷받침한다.

ABSTRACT

Most modern neural machine translation (NMT) systems rely on presegmented inputs. Segmentation granularity importantly determines the input and output sequence lengths, hence the modeling depth, and source and target vocabularies, which in turn determine model size, computational costs of softmax normalization, and handling of out-of-vocabulary words. However, the current practice is to use static, heuristic-based segmentations that are fixed before NMT training. This begs the question whether the chosen segmentation is optimal for the translation task. To overcome suboptimal segmentation choices, we present an algorithm for dynamic segmentation based on the Adaptative Computation Time algorithm (Graves 2016), that is trainable end-to-end and driven by the NMT objective. In an evaluation on four translation tasks we found that, given the freedom to navigate between different segmentation levels, the model prefers to operate on (almost) character level, providing support for purely character-level NMT models from a novel angle.

연구 동기 및 목표

• 신경 기계 번역 모델이 BPE나 WordPiece와 같은 고정된 히우리스틱 사전 세그멘테이션에 의존하지 않고, 동적으로 최적의 입력 세그멘테이션을 학습할 수 있는지 조사하는 것.
• 고정된 세그멘테이션, 어휘 불일치, 제작 환경에서의 통합 오버헤드 등의 파이프라인 기반 사전 처리의 한계를 극복하는 것.
• 세그멘테이션을 적응적으로 학습할 경우, 긴 시퀀스가 되더라도 서브워드나 단어 수준 모델보다 순수한 문자 수준 NMT가 BLEU 점수에서 뛰어나게 성능을 내는지 평가하는 것.
• 순수한 문자 수준 모델이 고려되는 이유는 그들의 강건성과 사전 처리 부담 감소 덕분에 실제로 타당하고 효과적임을 경험적이고 정성적으로 입증하는 것.

제안 방법

• 표준 임bedding 레이어를 입력 문자를 순차적으로 처리하고 스칼라 할팅 유닛을 사용해 세그먼트 임베딩을 출력할 시점을 동적으로 결정하는 '스마트 임베딩' 레이어로 대체한다.
• 할팅 유닛은 블록 단위의 문자가 인코더에 입력될 준비가 되었는지 결정하는 게이팅 신호를 계산하며, 이는 가변 길이의 세그먼트 생성을 가능하게 한다.
• 중간 은닉 상태는 할팅 확률로 가중되며, 이는 전체 메커니즘이 완전히 미분 가능하고 종단간 훈련이 가능한 방식이 된다.
• 모델은 양방향 GRU 인코더와 어텐션 기반 디코더를 사용하며, 유일한 변경 사항은 입력 임베딩 레이어이므로 RNN, CNN, Transformer 아키텍처와 모두 호환된다.
• 세그멘테이션 과정은 미분 가능하며 NMT 목적함수와 함께 함께 훈련되어 번역 품질 향상에 기여하는 세그멘테이션 패턴을 학습할 수 있다.
• 이 접근법은 IWSLT, CASIA, ASPEC, WMT 등 네 가지 다양한 번역 작업에서 평가되었으며, 고정된 BPE와 문자 수준 기준선과 비교하여 학습된 세그멘테이션을 검토하였다.

실험 결과

연구 질문

• RQ1 종단간 동적 세그멘테이션으로 훈련된 NMT 모델이 서브워드 수준, 단어 수준, 또는 문자 수준 세그멘테이션을 선호하는가?
• RQ2 BPE나 WordPiece와 같은 고정된 세그멘테이션 방법보다 동적으로 입력을 세그멘테이션할 수 있는 능력이 번역 품질 향상에 기여하는가?
• RQ3 학습된 세그멘테이션을 갖춘 순수한 문자 수준 모델이 BLEU 점수와 강건성 측면에서 서브워드 기반 모델보다 얼마나 뛰어나게 성능을 내는가?
• RQ4 순환 게이트와 어텐션 메커니즘은 문자 수준 모델에서 암묵적으로 어떤 세그멘테이션 패턴을 학습하는가? 그리고 이는 명시적 세그멘테이션과 어떻게 비교되는가?
• RQ5 동적으로 세그멘테이션을 학습할 수 있는 능력은 서브워드나 단어 수준 접근 방식보다 순수한 문자 수준 NMT를 사용하는 데 합리적인 근거가 되는가?

주요 결과

• 모델은 모든 데이터셋에서 90% 이상의 세그먼트가 1~3자 문자로 이루어져 있음에 따라 일관되게 (거의) 문자 수준 세그멘테이션을 학습한다.
• 더 긴 입력 시퀀스가 되더라도, 동적 세그멘테이션을 갖춘 문자 수준 모델가 동일한 모델 아키텍처를 사용해도 서브워드 기반 모델과 비교해 BLEU 점수에서 유사하거나 뛰어난 성능을 보였다.
• GRU 게이트 활성화 결과, 공백과 단어 경계가 별개의 게이팅 패턴을 유도함을 확인하여, 모델이 순환 동적 특성을 통해 암묵적으로 세그멘테이션을 학습하고 있음을 시사한다.
• 모델는 복합어 분할 능력을 보였으며, 'schreibtisch'와 같은 어휘를 'schreib'와 'tisch'로 정확히 분리함으로써 강력한 형태론적 이해 능력을 보였다.
• 동적 세그멘테이션 메커니즘은 순수한 문자 수준 모델에 이미 내재된 세그멘테이션 능력을 성공적으로 재발견하여, 성능 향상에 명시적 세그멘테이션 학습이 반드시 필요하지 않음을 시사한다.
• 결과적으로 순수한 문자 수준 NMT는 사전 처리 오버헤드 감소와 OOV 및 철자 오류 처리 능력 향상 덕분에 서브워드 기반 시스템에 비해 타당하고 강건하며 효율적인 대안임을 뒷받침한다.