[論文レビュー] PETCI: A Parallel English Translation Dataset of Chinese Idioms

Kenan Tang|arXiv (Cornell University)|Feb 19, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

PETCI は、辞書からの人間翻訳と Google や DeepL からの機械翻訳を組み合わせることで作成された中国成語の並列英語翻訳データセットである。構造に配慮した分類モデルを用いることで、ベースラインモデルを上回る成語翻訳の性能向上が可能となり、データセットのスケーラビリティのおかげで言語学的専門知識が不要なまま容易に拡張可能であり、機械翻訳および言語学習者に有益である。

ABSTRACT

Idioms are an important language phenomenon in Chinese, but idiom translation is notoriously hard. Current machine translation models perform poorly on idiom translation, while idioms are sparse in many translation datasets. We present PETCI, a parallel English translation dataset of Chinese idioms, aiming to improve idiom translation by both human and machine. The dataset is built by leveraging human and machine effort. Baseline generation models show unsatisfactory abilities to improve translation, but structure-aware classification models show good performance on distinguishing good translations. Furthermore, the size of PETCI can be easily increased without expertise. Overall, PETCI can be helpful to language learners and machine translation systems.

研究の動機と目的

• 機械翻訳および言語学習の向上を目的とした、高品質で並列な中国成語の英語翻訳データセットの不足に対処すること。
• 人間翻訳と機械翻訳を統合したスケーラブルなデータセットを構築し、成語翻訳の性能を向上させること。
• 低品質な翻訳を特定・改善するための分類および再表現タスクの開発と評価。
• データセットの拡張に言語学的専門知識を必要とせずにモデルの学習と評価を可能にすること。
• 自然言語処理研究および言語教育を支援する公開リソースを提供すること。

提案手法

• 印刷済み中国成語辞書からの人間翻訳を OCR と手動検証を用いて収集。
• Google や DeepL のインターフェースをウェブスクレイピングすることで機械翻訳を収集し、代替翻訳を取得。
• 構造的および語彙的特徴を用いて、ゴールドスタンダード翻訳と低品質翻訳を区別する二値分類タスクを設計。
• 低品質翻訳を改善するための再表現タスクを構築し、より良い言い換えを生成するモデルを訓練。
• BERT や Tree-LSTM、LSTM などのニューラルモデルを分類および生成タスクに適用し、正解率とパープレキシティで性能を評価。
• Tesseract OCR とカスタムスクリプトを用いて翻訳を抽出・検証し、自動および手動によるチェックでデータ品質を確保。

実験結果

リサーチクエスチョン

• RQ1 人間翻訳と機械翻訳を統合した並列データセットが、中国成語翻訳のモデル性能を向上させることができるか？
• RQ2 構造に配慮したモデル（Tree-LSTM や BERT）は、標準的なシーケンスモデル（LSTM）に比べ、高品質な成語翻訳を分類する際に優れているか？
• RQ3 PETCI データセットのサイズを拡大することで、モデル性能、特に分類タスクにおいて向上が見られるか？
• RQ4 訓練時のパープレキシティは低下しているが、なぜ再表現モデルは一般化に失敗しているのか？
• RQ5 言語学的専門知識が不要な状態で、どの程度データセットを拡張可能であり、その影響はモデル性能にどのように現れるか？

主な発見

• 構造に配慮したモデル（Tree-LSTM や BERT）は、標準的な LSTM モデルに比べ、特に Human セットにおいてゴールドスタンダード翻訳の分類性能が優れている。
• 分類モデルの性能はデータセットサイズの増大とともに向上しており、スケーラビリティが確認され、より大きなデータでさらなる向上が期待できる。
• 再表現タスクは過学習のため失敗した。訓練時のパープレキシティは低下したが、開発時のパープレキシティは高いまま維持されており、現在の生成モデルにはタスクが難しすぎる可能性がある。
• ベースラインモデルは再表現タスクで劣悪な性能を示し、テストセットの性能が著しく悪いことが顕著に観察された。これにより、リtrieval増強生成やより良いインダクティブバイアスの導入が求められる。
• データセットの設計により、言語学的専門知識が不要な状態で容易に拡張可能であることが実証された。分類タスクのスケーリング成功がその例である。
• BERT のゴールド翻訳正解率は Human セットにおいて Tree-LSTM よりも急激に低下したが、これは構造的混乱が原因と考えられる。一方、Machine セットでは混乱がやや少なかった。