[論文レビュー] Correction of Errors in a Modality Corpus Used for Machine Translation by Using Machine-learning Method

Masaki Murata, Masao Utiyama+3 more|ArXiv.org|May 2, 2001

Natural Language Processing Techniques参考文献 3被引用数 5

ひとこと要約

本稿では、日本語-英語機械翻訳のための手動でアノテートされたモダリティコーパスにおける誤りを補正する機械学習ベースの手法を提案する。最大エントロピーおよび意思決定リストモデルを用いてタグの確率を推定し、補正の優先順位を付ける。閉じたデータによる学習を用いることで、誤り検出および補正において最大88％の精度を達成し、時制・アスペクト・モダリティ翻訳タスクにおけるコーパス品質を顕著に向上させる。

ABSTRACT

We performed corpus correction on a modality corpus for machine translation by using such machine-learning methods as the maximum-entropy method. We thus constructed a high-quality modality corpus based on corpus correction. We compared several kinds of methods for corpus correction in our experiments and developed a good method for corpus correction.

研究の動機と目的

• 手動で構築されたアノテート済みコーパスに生じる誤りが、信頼性の高い機械翻訳システムの開発を妨げるという重要な問題に対処すること。
• 日本語-英語バイリンガルコーパスにおけるモダリティタグ誤りを、スケーラブルで自動化された方法で検出し、補正する手法を開発すること。
• 特に最大エントロピーおよび意思決定リストモデルを含む機械学習技術が、実世界のNLP応用におけるコーパス補正にどの程度有効であるかを評価すること。
• 時制・アスペクト・モダリティの日本語-英語機械翻訳における正確なデータ駆動型翻訳を支援する高品質なモダリティコーパスを構築すること。

提案手法

• 本手法は、トレーニングデータの特徴から導かれる制約の下でエントロピーを最大化する最大エントロピーモデルを用いて、各モダリティタグの確率を推定する。
• 周囲の語、品詞タグ、文法構造などの言語的文脈に基づく特徴ベクトルを用いて、タグの尤度をモデル化する。
• 意思決定リスト法はベースライン比較として用いられ、特徴をグリーディなルールベースの方法で正しいタグを予測する能力によって順位付けされる。
• 誤り候補は、確率モデルから得られる信頼度スコアによって順位付けされ、人間のアノテーターによる優先的補正が可能になる。
• 汎化性能を評価するために、モデルの学習と評価に閉じたデータ（トレーニングセット）および開かれたデータ（保留テストセット）の両方を用いる。
• 確率モデルから上位候補を選択することで、全件の手動検査に依存しない反復的コーパス補正が行われる。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、日本語-英語機械翻訳のための手動アノテート済みモダリティコーパスにおける誤りを、効果的に検出し、補正できるか？
• RQ2 最大エントロピー法と意思決定リスト法は、誤り検出および補正の精度において、どのように比較されるか？
• RQ3 誤り候補を確率ベースで順位付けすることで、コーパス補正の効率性と正確性はどの程度向上するか？
• RQ4 閉じたデータによる学習は、開かれたデータによる学習よりも顕著に高い補正性能をもたらすか？

主な発見

• 閉じたデータによる学習を用いた最大エントロピー法は、上位50件の候補に対して88％の精度を達成した。
• 開かれたデータによる学習では、最大エントロピー法は上位200件の候補に対して69％の補正精度を維持し、汎化性能が優れていることが示された。
• 意思決定リスト法は閉じたデータによる学習で最も優れた性能を示し、上位50件の候補に対して100％の精度を達成したが、開かれたデータでは著しく性能が低下した。
• 開かれたデータ評価において、最大エントロピー法は意思決定リスト法を上回り、上位50件の候補に対して56％の検出精度および52％の補正精度を達成した。
• 本研究では、検出精度と補正精度がほぼ同一であったため、高信頼度の予測が正確なタグを信頼して示していることがわかった。
• 提案手法により、高信頼度の誤り候補を優先することで人為的作業を削減でき、全再アノテーションなしに効率的かつスケーラブルなコーパス補正が可能になった。