[論文レビュー] A machine transliteration tool between Uzbek alphabets

Ulugbek Salaev, Elmurod Kuriyozov+1 more|arXiv (Cornell University)|May 19, 2022

Jewish Identity and Society被引用数 7

ひとこと要約

この論文は、キリル文字、ラテン文字、および新たに改正されたニューラテン文字の間で自動変換を可能にする、最初のオープンソースのウズベク語機械表記変換ツールを提示する。ルールベースのマッピングとファインチューニングされたモデルを組み合わせ、ラテン文字からニューラテン文字への表記変換で最大0.94のF1スコアを達成。研究および統合用途を想定し、Pythonパッケージ、Webインターフェース、パublic APIを提供する。

ABSTRACT

Machine transliteration, as defined in this paper, is a process of automatically transforming written script of words from a source alphabet into words of another target alphabet within the same language, while preserving their meaning, as well as pronunciation. The main goal of this paper is to present a machine transliteration tool between three common scripts used in low-resource Uzbek language: the old Cyrillic, currently official Latin, and newly announced New Latin alphabets. The tool has been created using a combination of rule-based and fine-tuning approaches. The created tool is available as an open-source Python package, as well as a web-based application including a public API. To our knowledge, this is the first machine transliteration tool that supports the newly announced Latin alphabet of the Uzbek language.

研究の動機と目的

• ウズベク語には3つの異なるアルファベットが存在し、使用に重複と一貫性の欠如があるため、低リソース言語処理の課題に対処すること。
• キリル文字、ラテン文字、および新たに導入されたニューラテン表記法の間をつなぐ、実用的でアクセス可能で正確な表記変換システムの開発。
• 既存ツールの限界を克服すること。これらは閉鎖型、APIを備えていない、または実装品質が低い。
• ニューラテン文字への移行を支援するために、ウズベク語のNLPタスクに信頼性がありスケーラブルなソリューションを提供すること。
• 今後のウズベク語のNLPパイプライン開発（トークン化、品詞タグ付け、語彙素解析など）を可能にすること。

提案手法

• ツールは、キュレートされたウズベク語テキストデータ上でファインチューニングされたニューラルモデルとルールベースの文字マッピングを組み合わせたハイブリッドアプローチを採用。
• 特にニューラテンアルファベットでは、二文字組（digraph）が単一文字に置き換えられるため、母音記号や二文字組の処理にアルファベット固有のルールを適用。
• すべての3つのアルファベット間で語のペアを含むキュレート済みデータセットを活用し、表記変換の性能を訓練および評価。
• Pythonパッケージ上に公開APIとWebインターフェースを構築し、NLPワークフローへの統合を可能に。
• 単語レベルでのマイクロ平均F1スコアを用いてモデルを評価し、エラー解析は例外的なケースや語彙素的変化に焦点を当てる。
• 不規則な綴り表記（例：'o' や 'g' の音を表す複数のアポストローフ表現）を処理するため、入力正規化技術を含む。

実験結果

リサーチクエスチョン

• RQ1 3つの活用中のアルファベットを持つ、低リソースで屈曲語のウズベク語に対して、効果的な機械的表記変換システムをどのように構築できるか？
• RQ2 ルールベースとファインチューニングされたモデルを組み合わせたハイブリッドアプローチが、キリル文字、ラテン文字、ニューラテン文字間の表記変換において、どの程度の性能を示すか？
• RQ3 二文字組 vs. ディアクリティック記号といった綴りの複雑さの違いが、表記変換の正確性にどのように影響するか？
• RQ4 実際のユーザー生成テキストにおける語彙素的変化や借用語を、システムがどの程度処理できるか？
• RQ5 公式言語改正を支援するスケーラブルでオープンソースの表記変換ツールをウズベク語用に作成するにあたり、主な課題は何か？

主な発見

• ラテン文字からニューラテン文字への表記変換で、0.94という最高のF1スコアを達成。これは、例外のない最小限で一貫性のあるマッピングルールのおかげ。
• ラテン文字からキリル文字へのペアでF1スコアが最低の0.89にとどまり、主に複雑で一貫性のない変換ルールと多数の例外が原因。
• ニューラテン文字と他のアルファベット間の表記変換は、ラテン文字-キリル文字変換よりも良好に機能。ニューラテンアルファベットは必要な変換ルール数を削減するため。
• 語彙素的変化と語幹の不一致（特に、語幹が正しく正規化されていない場合）が、ツールの性能に顕著な影響を与える。
• 特に、'o‘, o’, o‘ といったアポストローフの不規則な使用例を含む、ユーザー生成テキストは、正確な表記変換にとって大きな課題をもたらす。
• 現段階では、実世界のテキストが不足しているため、ニューラテンアルファベット用のデータは手作業でキュレートされたものに依存しており、訓練データの拡充の必要性が浮き彫りになる。