[論文レビュー] A Pattern Matching method for finding Noun and Proper Noun Translations from Noisy Parallel Corpora

Pascale Fung|ArXiv.org|May 6, 1995

Natural Language Processing Techniques被引用数 90

ひとこと要約

この論文では、ノイズが多く、文が対応付けられていない並列コーパスから名詞および固有名詞の二語辞書をコンパイルするためのパターンマッチング手法を提示する。位置ベクトルと周波数ベクトル表現を用い、動的時系列適合法（DTW）を適用して語の位置ベクトルをマッチングし、二次的辞書精錬のためのアンカーポイントを活用することで、主辞書で71.4%、二次辞書で74.5%の精度を達成した。これにより、文の対応付けが不要な状況でもドメイン固有用語の強固な抽出が可能になった。

ABSTRACT

We present a pattern matching method for compiling a bilingual lexicon of nouns and proper nouns from unaligned, noisy parallel texts of Asian/Indo-European language pairs. Tagging information of one language is used. Word frequency and position information for high and low frequency words are represented in two different vector forms for pattern matching. New anchor point finding and noise elimination techniques are introduced. We obtained a 73.1\% precision. We also show how the results can be used in the compilation of domain-specific noun phrases.

研究の動機と目的

• 文の対応付けに依存しない名詞および固有名詞の二語辞書をコンパイルする手法の開発。
• アジア語／インドヨーロッパ語対で一般的に見られるノイズが多く、断続的な並列テキストの課題に対処すること。
• 標準辞書にドメイン固有用語が存在しない低リソース環境における辞書コンパイル精度の向上。
• ベクトルベースのパターンマッチングにより合成語や語句を発見すること。
• EMに基づく対応付け手法のための信頼性の高い初期化を提供すること。

提案手法

• マッチングを関連語種に制限するため、英語の名詞および固有名詞をタグ付けする。
• テキスト内の語の位置から位置差分ベクトルを構築し、周波数および位置パターンを表現する。
• 動的時系列適合法（DTW）を用いて英語語と中国語語の間で位置ベクトルをマッチングし、類似度スコアを算出する。
• DTWスコアにしきい値を適用して信頼性の高い語対からなる主辞書を抽出する。
• DTWパスを再構築して、二次的対応付けのための信頼性の高いアンカーポイントを同定する。
• アンカーポイントからバイナリ位置ベクトルを生成し、相互情報量を用いてマッチングすることで、二次的で高精度な辞書をコンパイルする。

実験結果

リサーチクエスチョン

• RQ1 ノイズが多く、文が対応付けられていない並列コーパスにおいて、位置および周波数ベクトルのパターンマッチングが効果的に二語語対を同定できるか？
• RQ2 初期語対から信頼性の高いアンカーポイントを抽出する方法は何か？
• RQ3 この手法が、標準トークナイザーが捉えきれない合成語や語句をどの程度発見できるか？
• RQ4 このアプローチは、低リソースかつノイズの多い環境で、従来の対応付け依存手法を上回る性能を示せるか？
• RQ5 この手法の出力は、EMに基づく対応付けアルゴリズムの強固な初期化として機能できるか？

主な発見

• 主辞書では71.4%の精度を達成し、高頻度語では66.7%、二次辞書コンパイルでは74.5%の精度を示した。
• 「carbon monoxide」のような合成語が中国語で1語として正しく認識され、誤った分割を回避した。
• 「gweilo」や「Green Paper」のような文化的・地域的用語が多文字の合成語として検出され、言語的ニュアンスが反映された。
• 「Legislative Council」と「Hong Kong」が中国語で単一の合成語として扱われることを同定した。別々の翻訳ではない。
• 「Cross Harbour Tunnel」が「Sea Bottom Tunnel」と誤って翻訳されるのではなく、正しく1語として扱われることを同定した。これは意味的認識の証左である。
• 文の対応付けを必要とせず、明確な文境界がなくても信頼性の高いアンカーポイントを生成できた。