[논문 리뷰] A Benchmark for Learning to Translate a New Language from One Grammar Book

Garrett Tanzer, Mirac Süzgün외 3명|arXiv (Cornell University)|2023. 09. 28.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 영어와 칼라망어(200명 미만의 어휘 사용자 수를 가진 저자원 언어) 간의 제로샷 기계 번역을 위한 MTOB 벤치마크를 소개한다. 단 한 권의 문법서와 관련 언어학적 자료만을 사용한다. 강력한 LLM 성능에도 불구하고, 모델은 칼라망어 → 영어 번역에서 44.7, 영어 → 칼라망어 번역에서 45.8 chrF를 기록하며 인간 성능(51.6 및 57.0 chrF)에 못 미치며, 대규모 웹 데이터가 아닌 최소한의 자연어 설명에서 진정으로 새로운 언어를 학습하는 데서 발생하는 과제를 드러낸다.

ABSTRACT

Large language models (LLMs) can perform impressive feats with in-context learning or lightweight finetuning. It is natural to wonder how well these models adapt to genuinely new tasks, but how does one find tasks that are unseen in internet-scale training sets? We turn to a field that is explicitly motivated and bottlenecked by a scarcity of web data: low-resource languages. In this paper, we introduce MTOB (Machine Translation from One Book), a benchmark for learning to translate between English and Kalamang -- a language with less than 200 speakers and therefore virtually no presence on the web -- using several hundred pages of field linguistics reference materials. This task framing is novel in that it asks a model to learn a language from a single human-readable book of grammar explanations, rather than a large mined corpus of in-domain data, more akin to L2 learning than L1 acquisition. We demonstrate that baselines using current LLMs are promising but fall short of human performance, achieving 44.7 chrF on Kalamang to English translation and 45.8 chrF on English to Kalamang translation, compared to 51.6 and 57.0 chrF by a human who learned Kalamang from the same reference materials. We hope that MTOB will help measure LLM capabilities along a new dimension, and that the methods developed to solve it could help expand access to language technology for underserved communities by leveraging qualitatively different kinds of data than traditional machine translation.

연구 동기 및 목표

• 대규모 웹 크롤링 데이터가 아닌 단 한 권의 인간이 읽을 수 있는 문법서만을 사용하여, 대규모 언어 모델이 실제로 새로운 언어를 번역할 수 있는지 평가하는 것.
• 다량의 병렬 코퍼스가 아닌, 정제된 자연어 설명을 통한 언어 학습 방식을 모방하여 제2외국어 학습을 시뮬레이션하는 벤치마크를 구축하는 것.
• 동일한 제한된 언어 자료에서 학습한 LLM 성능과 인간 성능 간 격차를 측정하여, 모델 능력의 현실적인 하한선을 제공하는 것.
• 현장 언어학적 기록과 같은 질적으로 다른 데이터 유형이나, 소외된 언어에 대한 번역을 가능하게 할 수 있음을 보여주어 언어 기술의 포용성을 증진하는 것.

제안 방법

• 벤치마크인 MTOB는 단 한 권의 자유 라이선스가 부여된 문법서, 양국어 어휘 목록, 그리고 소규모의 칼라망-영어 병렬 텍스트(영어 기준 25만 토큰 이하, 칼라망 기준 2만 5천 토큰 이하)를 유일한 학습 및 평가 자료로 사용한다.
• 모델은 제로샷 또는 인라인 컨텍스트 학습 설정에서 문법서와 참고 자료를 제공받으며, 이는 인간이 교재를 통해 배우는 방식을 시뮬레이션한다.
• 평가에는 chrF++가 주요 지표로 사용되며, 모델 출력과 기준 번역 간의 n-gram 정밀도 및 재현율을 측정한다.
• 인간 성능은 첫 번째 저자가 동일한 자료만을 사용해 칼라망어를 학습하고 테스트 세트를 번역함으로써 확립되며, 인간 수준의 성능 기준을 제공한다.
• 다양한 검색 기반 프ompting 전략을 테스트하였으며, 번역의 정확도를 향상시키기 위해 관련 단어, 문장, 문법 설명을 검색하는 방식을 포함한다.
• 이 작업은 프ine-tuning을 피하기 위해 인라인 컨텍스트 학습 또는 검색 기반 생성으로 프레임워크를 설정하여, 최소한의 자연어 입력에서의 학습을 강조한다.

실험 결과

연구 질문

• RQ1 대규모 웹 데이터에 노출되지 않은 채 단 한 권의 문법서만을 사용하여 대규모 언어 모델이 저자원 언어인 칼라망어의 번역을 학습할 수 있는가?
• RQ2 동일한 제한된 언어 자료에서 학습한 경우, LLM 성능이 인간 성능과 비교해 어떻게 되는가?
• RQ3 모델이 유일한 언어 지식 소스에 제약을 받는 상황에서, 검색 기반 프롬프팅 전략이 번역 품질을 얼마나 향상시키는가?
• RQ4 교재의 자연어 설명을 통해 학습하는 방식(제2외국어 습득과 유사)이 대규모 병렬 코퍼스를 통해 학습하는 것과 비교해 성능 패턴이 어떻게 다를까?
• RQ5 이 벤치마크는 진정으로 새로운 저자원 언어 작업에서 LLM의 진정한 일반화 능력을 평가하는 의미 있는 대체 지표가 될 수 있는가?

주요 결과

• LLM은 문법서를 인라인 컨텍스트 학습으로 활용하여 칼라망어 → 영어 번역에서 44.7 chrF, 영어 → 칼라망어 번역에서 45.8 chrF를 기록하며, 강력하지만 완전하지 않은 성능을 보였다.
• 한 연구자가 동일한 자료만을 사용해 칼라망어를 학습한 결과, 인간 성능은 각각 51.6 chrF 및 57.0 chrF에 도달하여, 모델과 인간 간의 상당한 격차를 보여주었다.
• 가장 높은 성능을 기록한 LLM 설정(Claude 2, 검색된 컨텍스트 사용)조차도 'suka'의 잘못된 사용(원래는 명사형으로 사용되어야 할 곳에서 '원하다'로 잘못 사용) 등의 오류를 내며, 지속적인 형태소 문법 오해를 보였다.
• 문법 설명의 검색은 번역의 충실도를 향상시키지만, 의미적 기반 없이 문법 규칙에 과도하게 의존할 경우 어색한 표현이나 오류를 유발할 수 있다.
• 벤치마크는 현재 LLM이 진정으로 새로운 언어에서 형태구문적 복잡성을 다루는 데 어려움을 겪는다는 것을 드러내며, 심지어 자세한 자연어 설명이 제공된 경우에도 마찬가지다.
• 결과적으로 현재 LLM은 단 한 권의 책만으로 언어를 완전히 습득하는 데에는 아직 능력이 부족하며, 저자원이면서도 높은 문법적 복잡성을 지닌 언어에 대해 인라인 컨텍스트 학습의 한계가 있음을 시사한다.