[논문 리뷰] Improving Translation Faithfulness of Large Language Models via Augmenting Instructions

Yijie Chen, Yijin Liu외 4명|arXiv (Cornell University)|2023. 08. 24.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델에서 번역의 충실도를 향상시키기 위해 SWIE(Segment-Weighted Instruction Embedding)와 OverMiss라는 대비적 지시튜닝 데이터셋을 제안한다. SWIE는 분할 가중 임베딩을 통해 모델의 지시어에 대한 주의를 강화하는 반면, OverMiss는 과도 번역 및 누락 번역 오류를 타깃으로 삼는다. 이 방법들은 BLOOMZ 및 LLaMA 모델에서 zero-shot, 장문 맥락, few-shot 설정 전반에 걸쳐 BLEU 점수(최대 +0.56)와 충실도 메트릭을 크게 향상시킨다.

ABSTRACT

Large Language Models (LLMs) present strong general capabilities, and a current compelling challenge is stimulating their specialized capabilities, such as machine translation, through low-cost instruction tuning. The standard instruction-following data is sequentially organized as the concatenation of an instruction, an input, and a response. As the attention mechanism of LLMs has limitations on local focus, LLMs tend to focus more on the words or sentences nearby at each position. This leads to a high risk of instruction forgetting during decoding. To alleviate the above issues, We propose SWIE (Segment-Weighted Instruction Embedding) and an instruction-following dataset OVERMISS. SWIE improves the model instruction understanding by adding a global instruction representation on the following input and response representations. OVERMISS improves model faithfulness by comparing over-translation and miss-translation results with the correct translation. We apply our methods to two main-stream open-source LLMs, BLOOM and LLaMA. The experimental results demonstrate significant improvements in translation performance with SWIE based on BLOOMZ-3b, particularly in zero-shot and long text translations due to reduced instruction forgetting risk. Additionally, OVERMISS outperforms the baseline in translation performance (e.g. an increase in BLEU scores from 0.69 to 3.12 and an average improvement of 0.48 percentage comet scores for LLaMA-7b) with further enhancements seen in models combining OVERMISS and SWIE (e.g. the BLUE scores increase up to 0.56 from English to German across three different backbones), and both exhibit improvements in the faithfulness metric based on word alignment.

연구 동기 및 목표

• 지역적 주의 편향으로 인해 인과적 언어 모델에서 번역 디코딩 중 지시어 忘却 문제가 발생하는 것을 해결하기 위해.
• 특히 과도 번역 및 누락 번역을 줄임으로써 번역 충실도를 향상시키기 위해.
• 충실도 향상을 위한 대비 음성 샘플을 생성하는 데이터 구축 방법을 개발하기 위해.
• SWIE와 OverMiss의 효과성을 다양한 백본 모델과 번역 벤치마크에서 검증하기 위해.
• 주의 분포를 분석하고, SWIE가 특히 중간 레이어에서 지시어 주의를 증가시킨다는 것을 입증하기 위해.

제안 방법

• SWIE는 입력과 응답 표현에 글로벌 지시어 표현을 주입하기 위해 파rameterized 어댑터를 도입하며, 지시어 토큰에 대한 강조를 위해 세그먼트 가중 주의를 사용한다.
• 이 방법은 레이어 간 주의 점수의 가중 평균을 사용하여, 지시어 범위가 입력 및 출력 범위에 비해 주의를 더 강하게 받도록 한다.
• OverMiss는 과도 번역과 누락 번역을 피하도록 모델을 명시적으로 유도하기 위해, 대비 음성 샘플을 구성하는 새로운 지시튜닝 데이터셋이다.
• 데이터셋에는 '과도 번역 금지' 및 '누락 번역 금지'와 같은 지시어가 포함되어 있어 모델이 충실한 출력을 내도록 유도한다.
• 충실도는 교차 언어 단어 정렬을 사용하여 소스 및 타겟 단어 커버리지 비율을 계산하고, 평균 재현율을 메트릭으로 사용한다.
• 기본 모델과 SWIE 모델 간의 내부 주의 점수를 레이어별로 시각화하여 비교하였으며, SWIE에서는 지시어 종료부분에 대한 주의가 증가한 것으로 나타났다.

실험 결과

연구 질문

• RQ1 세그먼트 가중 임베딩을 통해 지시어에 대한 주의를 강화함으로써, 인과적 LLM에서 번역 중 지시어 忘却 문제가 감소하는가?
• RQ2 OverMiss를 활용한 대비 지시튜닝이 과도 번역 및 누락 번역 오류를 효과적으로 줄일 수 있는가?
• RQ3 SWIE는 특히 지시어 忘却가 가장 발생할 가능성이 높은 중간 레이어에서 주의 분포에 어떤 영향을 미치는가?
• RQ4 SWIE와 OverMiss는 zero-shot 및 장문 맥락 번역 작업에서 번역 성능과 충실도에 얼마나 기여하는가?
• RQ5 SWIE와 OverMiss의 조합이 BLEU 및 충실도 메트릭에서 상호 보완적 향상을 이끌어내는가?

주요 결과

• SWIE는 BLOOMZ-3b를 사용해 WMT22 번역 방향 4개에서 BLEU 점수를 0.19에서 0.51로 향상시켰고, 6개의 zero-shot 방향에서는 0.20에서 0.58로 상승시켰다.
• 장문 문장 번역에서 BLOOMZ-3b는 SWIE를 사용해 평균 BLEU 점수 0.67을 기록하여 장문 맥락 환경에서의 성능 향상을 입증했다.
• OverMiss는 WMT22 테스트 세트에서 BLEU 점수를 0.69에서 3.12로 상승시켰고, LLaMA-7b에서 평균 COMET 점수를 0.48점 향상시켰다.
• SWIE와 OverMiss의 조합은 세 개의 백본 모델에서 영어-독어 번역에서 BLEU 점수를 최대 0.56 향상시켰다.
• 단어 정렬을 통한 충실도 평가에서 OverMiss는 87.94(Parrot-hint)에서 88.84로 상승했고, 두 방법을 병행한 경우 88.80으로 나타났다.
• 주의 시각화 결과, SWIE는 중간 레이어에서 지시어 종료부분에 대한 주의 비율을 최대 20%까지 증가시켜 지시어 忘却 감소를 검증했다.