[논문 리뷰] Non-Parametric Online Learning from Human Feedback for Neural Machine Translation

Dongqi Wang, Haoran Wei외 4명|arXiv (Cornell University)|2021. 09. 23.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 비모수적 온라인 학습 방법인 KNN-over-KNN(KoK)을 제안한다. 이 방법은 인간이 수정한 번역을 저장하는 KNN 모듈과 NMT 모델과 피드백 기반 KNN 모듈 간의 동적 균형을 맞추는 데 사용되는 두 번째 KNN 모듈을 사용한다. 이 방법은 NMT 아키텍처를 수정하거나 온라인 모델 업데이트가 필요 없이도 번역 품질을 크게 향상시키며, 반복적인 인간 수정이 필요한 경우를 줄일 수 있다. 최대 12.9 BLEU 및 9.7 TER 향상이 달성되었다.

ABSTRACT

We study the problem of online learning with human feedback in the human-in-the-loop machine translation, in which the human translators revise the machine-generated translations and then the corrected translations are used to improve the neural machine translation (NMT) system. However, previous methods require online model updating or additional translation memory networks to achieve high-quality performance, making them inflexible and inefficient in practice. In this paper, we propose a novel non-parametric online learning method without changing the model structure. This approach introduces two k-nearest-neighbor (knn) modules: one module memorizes the human feedback, which is the correct sentences provided by human translators, while the other balances the usage of the history human feedback and original NMT models adaptively. Experiments conducted on EMEA and JRC-Acquis benchmarks demonstrate that our proposed method obtains substantial improvements on translation accuracy and achieves better adaptation performance with less repeating human correction operations.

연구 동기 및 목표

• 비용이 많이 들지 않는 온라인 모델 업데이트 없이도 신경 기계 번역(NMT) 시스템을 실시간으로 인간 피드백에 적응시키는 문제를 해결하기 위해.
• 유사 문장에 대해 반복적으로 수정해야 하는 인간의 노력이 줄어들 수 있도록 하기 위해.
• 온라인 적응 과정에서 치명적인 기억 상실과 계산 오버헤드를 피하면서도 높은 번역 품질을 유지하기 위해.
• 기존에 훈련된 NMT 모델에 아키텍처 수정 없이도 적용 가능한 즉시 사용 가능한 방법을 개발하기 위해.

제안 방법

• 이중 KNN 메커니즘을 도입: Token-KNN은 의미적 유사도를 기반으로 데이터스토어에서 인간이 수정한 번역을 저장하고 검색한다.
• Policy-KNN은 검색 특징에 기반한 k-NN 분류기를 사용하여 NMT 모델과 Token-KNN 간의 동적 보간 가중치(λ)를 학습한다.
• 검색 결과의 관련성과 수정 품질을 바탕으로, 유용한 경우(1), 노이즈가 많은 경우(0)로 표시되는 이진 플래그를 Policy-KNN의 데이터스토어 레이블로 사용한다.
• Token-KNN의 검색 결과에서 추출한 특징을 기반으로 Policy-KNN 데이터스토어를 구축하여, 맥락 인식 기반의 모델과 피드백 간의 균형 조절을 가능하게 한다.
• 보간 적용: 최종 번역 확률 = λ × p(Token-KNN) + (1−λ) × p(NMT), 여기서 λ는 Policy-KNN에 의해 예측된다.
• 실험에서 인간 피드백을 시뮬레이션하기 위해 오라클 기준 번역을 사용하여 적응 성능 평가를 통제할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 모델 파라미터 업데이트 없이도 비모수적 방법이 인간 피드백에 효과적으로 적응할 수 있는가?
• RQ2 추론 과정에서 사전 훈련된 NMT 모델과 인간 수정 번역 간의 균형을 어떻게 동적으로 최적화할 수 있는가?
• RQ3 KoK는 효과적인 적응을 위해 필요한 반복적인 인간 수정 횟수를 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법은 자원이 적은 피드백 환경에서 기존의 온라인 학습 및 메모리 증강 NMT 접근법보다 우수한 성능을 보일 수 있는가?

주요 결과

• KoK는 EMEA 및 JRC-Acquis 벤치마크에서 사전 훈련된 NMT 모델 대비 최대 12.9 BLEU 향상과 9.7 TER 감소를 달성했다.
• 짧은 문장부터 긴 문장까지 모든 문서 길이 범주에서 최첨단 온라인 학습 기반 모델들을 일관되게 능가했다.
• Policy-KNN는 관련 없는 검색 결과의 간섭을 줄여 빠른 적응을 가능하게 했으며, 모든 길이에서 R-지표(R1–R5)의 급격한 향상으로 이를 입증했다.
• KoK는 반복적인 수정이 줄어들었음을 보여주며, 적응 성능의 빠른 수렴과 반복 편집 의존도 감소로 이를 확인했다.
• 온라인 기울기 업데이트와 치명적인 기억 상실 없이도 최소한의 계산 비용으로 경쟁적인 성능을 달성했다.
• Token-KNN의 검색 확률이 높을수록 Policy-KNN가 학습한 평균 보간 가중치 λ도 높아지며, 검색 품질에 기반한 효과적인 동적 가중치 조정이 이루어지고 있음을 시사한다.