[論文レビュー] Approximate N-Gram Markov Model for Natural Language Generation

Hsin‐Hsi Chen, Yue‐Shi Lee|ArXiv.org|Aug 24, 1994

Natural Language Processing Techniques参考文献 6被引用数 3

ひとこと要約

本稿では、距離計測を用いた有向語関連ペアを用いてn-gramおよび(n−1)-gram言語モデルを効率的に近似する、近似n-gramマルコフモデルを提案する。語関連モデルとマルコフモデルの長所を組み合わせることで、訓練データの要件を低減しつつ生成品質を維持する。機械翻訳における語彙選択に応用可能である。

ABSTRACT

This paper proposes an Approximate n-gram Markov Model for bag generation. Directed word association pairs with distances are used to approximate (n-1)-gram and n-gram training tables. This model has parameters of word association model, and merits of both word association model and Markov Model. The training knowledge for bag generation can be also applied to lexical selection in machine translation design.

研究の動機と目的

• 自然言語生成のためのより効率的な言語モデル手法を開発し、データおよび計算リソースの要求を低減すること。
• 語関連モデルとn-gramマルコフモデルの長所を統合することで、両者のギャップを埋めること。
• 語関連ペアから導出される近似n-gram統計を用いて、効果的なバッグ生成を可能にすること。
• 生成モデルから得た訓練知識を再利用することで、機械翻訳における語彙選択を支援すること。
• 従来のn-gramモデルに対するスケーラブルでパラメータ効率の良い代替手段を提供すること。

提案手法

• 本モデルは、距離計測を用いた有向語関連ペアを用いて、(n−1)-gramおよびn-gram確率表を近似する。
• 完全なn-gram頻度表ではなく、語関連によって言語統計を表現することで、ストレージおよび訓練のオーバーヘッドを低減する。
• 既存の語関連データを活用して、系列生成のための条件付き確率を推定する。
• 訓練知識は生成タスクと翻訳タスクの両方で共有され、特に語彙選択において有効である。
• マルコフモデルの確率的構造を維持しつつ、関連語ペアによる近似を実現する。
• 計算効率が高く、リソースが限られた自然言語生成および翻訳に適用可能であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 距離計測を用いた語関連ペアは、n-gram言語モデルを効果的に近似できるか？
• RQ2 自然言語生成における近似モデルの性能は、従来のn-gramモデルと比べてどうか？
• RQ3 同じ訓練知識を機械翻訳における語彙選択にどの程度再利用できるか？
• RQ4 この近似手法におけるモデルの正確さと計算効率のトレードオフはいかほどか？
• RQ5 データおよびパラメータ要件を低減しつつ、生成品質を維持できるか？

主な発見

• 語関連ペアと距離計測を用いて、n-gramおよび(n−1)-gram表を効果的に近似できた。
• 完全なn-gram頻度表の必要性が低減され、ストレージおよび訓練コストが削減された。
• 標準n-gramモデルよりもスケーラビリティが向上した効果的なバッグ生成が可能になった。
• 本モデルの訓練知識は、機械翻訳システムにおける語彙選択に直接応用可能であった。
• 語関連モデルの柔軟性とマルコフモデルの正確さの両方の長所をバランスよく実現した。
• リソースが限られた、またはメモリ制限がある自然言語生成および翻訳の応用に適している。