[論文レビュー] A Benchmark for Learning to Translate a New Language from One Grammar Book

Garrett Tanzer, Mirac Süzgün+3 more|arXiv (Cornell University)|Sep 28, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、単一の文法書と関連言語学的資料のみを用いて、200名未満の話者しかいない低リソース言語・カラマング語へのゼロショット機械翻訳を評価するベンチマークMTOBを紹介する。大規模言語モデル（LLM）の性能は高いが、カラマング語→英語翻訳では44.7、英語→カラマング語翻訳では45.8のchrFを示し、人間の性能（51.6および57.0のchrF）に及ばず、大規模なウェブデータではなく、最小限の自然言語説明から真正に未知の言語を学ぶことの難しさが浮き彫りになる。

ABSTRACT

Large language models (LLMs) can perform impressive feats with in-context learning or lightweight finetuning. It is natural to wonder how well these models adapt to genuinely new tasks, but how does one find tasks that are unseen in internet-scale training sets? We turn to a field that is explicitly motivated and bottlenecked by a scarcity of web data: low-resource languages. In this paper, we introduce MTOB (Machine Translation from One Book), a benchmark for learning to translate between English and Kalamang -- a language with less than 200 speakers and therefore virtually no presence on the web -- using several hundred pages of field linguistics reference materials. This task framing is novel in that it asks a model to learn a language from a single human-readable book of grammar explanations, rather than a large mined corpus of in-domain data, more akin to L2 learning than L1 acquisition. We demonstrate that baselines using current LLMs are promising but fall short of human performance, achieving 44.7 chrF on Kalamang to English translation and 45.8 chrF on English to Kalamang translation, compared to 51.6 and 57.0 chrF by a human who learned Kalamang from the same reference materials. We hope that MTOB will help measure LLM capabilities along a new dimension, and that the methods developed to solve it could help expand access to language technology for underserved communities by leveraging qualitatively different kinds of data than traditional machine translation.

研究の動機と目的

• 大規模言語モデル（LLM）が、ウェブスケールのデータにアクセスせずに、単一の人間が読みやすい文法書のみを用いて、真正に未知の言語を翻訳する能力を有するかを評価すること。
• 翻訳の学習を、大規模な並列コーパスではなく、自然言語による解説で構成されたキュレートされた資料を通じて行うことで、第二言語習得を模倣するベンチマークを確立すること。
• 同じ限定的な言語的リソースから学習するLLMと人間の性能の差を測定し、モデルの能力の現実的な下限を提供すること。
• 分野言語学的文書といった、質的に異なるデータが、無視されがちな言語の翻訳を可能にできることを示し、言語技術の公平性を促進すること。

提案手法

• ベンチマークMTOBは、単一のパブリックライセンスが適用された文法書、二か国語語彙リスト、および小規模なカラマング語-英語並列コーパス（英語は25万トークン未満、カラマング語は2万5千トークン未満）を、唯一の学習および評価データとして使用する。
• モデルは、ゼロショットまたはインライン学習の設定で文法書と参照資料を提示され、人間が教科書から学ぶのを模倣する。
• 評価にはchrF++を主な指標とし、モデル出力と基準翻訳との間のn-gramの適合率と再現率を測定する。
• 人間の性能は、同じ資料のみを用いてカラマング語を学んだ研究者（第一著者）がテストセットを翻訳することで確立され、人間スケールの性能ベースラインを提供する。
• 複数のリtrieval増強型プロンプト戦略がテストされ、翻訳の忠実性を向上させるために関連語、文、文法的説明の取得が試みられる。
• タスクは、微調整を避けるために、インライン学習またはリtrieval増強生成の枠組みとして提示され、最小限の自然言語入力からの学習を強調する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデル（LLM）は、ウェブスケールのデータにアクセスせずに、単一の文法書からカラマング語のような低リソース言語を翻訳する能力を有するか？
• RQ2 同じ限定的な言語的リソースから学習する場合、LLMの性能は人間の性能と比べてどの程度か？
• RQ3 モデルが唯一の言語的知識源に制限されている状況で、リtrieval増強型プロンプト戦略が翻訳品質をどの程度向上させるか？
• RQ4 教科書に記載された自然言語の説明（第二言語習得に類似）から学ぶことと、大規模な並列コーパスから学ぶこととで、性能のパターンはどのように異なるか？
• RQ5 このベンチマークは、真正に未知の低リソース言語タスクにおけるLLMの真の汎化能力を評価する意味のある代理指標として機能できるか？

主な発見

• LLMは、文法書をインライン学習で提示された状態で、カラマング語→英語翻訳で44.7のchrF、英語→カラマング語翻訳で45.8のchrFを達成し、強いが完全ではない性能を示している。
• 人間の性能は、同じ資料のみを用いてカラマング語を学んだ研究者によって測定され、それぞれ51.6と57.0のchrFを達成し、モデルと人間の間で顕著な差が生じていることが示された。
• 最も優れたLLM設定（Claude 2、文脈をリtrievalした場合）でさえ、「suka」の誤用（「欲しがる」としてではなく、名詞形として使用）といった誤りを示し、持続的な語形論的誤解が生じている。
• 文法的説明のリtrievalは翻訳の忠実性を向上させるが、意味的根拠が欠如したまま文法ルールに過剰に依存すると、不自然さや誤りを引き起こす可能性がある。
• ベンチマークは、現在のLLMが、詳細な自然言語記述が提供されても、真正に未知の言語における形態句法学的複雑性に対処できていないことを明らかにした。
• 結果から、現在のLLMは、単一の本からの学習で言語を完全に習得できる能力に欠けていることが示唆され、低リソースで構造が複雑な言語に対するインライン学習の限界が浮き彫りになった。