[論文レビュー] Similarity-Based Approaches to Natural Language Processing

Lillian Lee|ArXiv.org|Aug 19, 1997

Speech Recognition and Synthesis参考文献 62被引用数 76

ひとこと要約

本論文は、Kullback-Leibler発散を用いた分布的類似性を活用することで、NLPにおけるスパースデータ問題に対処する類似性ベースの手法を提案する。ソフトハイアラルキカルスタリングと最近傍推定の両方の手法が、言語モデル構築および語の意味あいまいさ解消の両面で顕著な改善を示し、語彙の困惑度が20%以上低下し、統計的に有意な音声認識誤り率の低減が達成された。

ABSTRACT

This thesis presents two similarity-based approaches to sparse data problems. The first approach is to build soft, hierarchical clusters: soft, because each event belongs to each cluster with some probability; hierarchical, because cluster centroids are iteratively split to model finer distinctions. Our second approach is a nearest-neighbor approach: instead of calculating a centroid for each class, as in the hierarchical clustering approach, we in essence build a cluster around each word. We compare several such nearest-neighbor approaches on a word sense disambiguation task and find that as a whole, their performance is far superior to that of standard methods. In another set of experiments, we show that using estimation techniques based on the nearest-neighbor model enables us to achieve perplexity reductions of more than 20 percent over standard techniques in the prediction of low-frequency events, and statistically significant speech recognition error-rate reduction.

研究の動機と目的

• 訓練データに出現しない一般的な出来事の確率推定が不安定になるNLPにおけるスパースデータ問題に対処すること。
• 珍しいまたは未観測の出来事のための粗い近似を用いる従来手法の限界を克服すること。
• 分布的類似性を用いて、類似したが観測済みの出来事から情報を取り込むことで、未観測の出来事の確率を推定するフレームワークを構築すること。
• 類似性ベースの推定が、言語モデル構築および語の意味あいまいさ解消の性能向上に有効であることを実証すること。
• 標準的な統計的手法を超えたNLP応用において、ソフトでハイアラルキカルなクラスタリングおよび最近傍モデルの可能性を検討すること。

提案手法

• 語や出来事間の分布的類似性を測る指標として、Kullback-Leibler（KL）発散を用いる。
• 決定的アニーリングを用いて、各語が複数のクラスタに異なる確率で所属するソフトでハイアラルキカルなクラスタを構築する。
• クラスタの重心に基づく言語モデルを構築し、未観測の語ペairへの一般化を向上させる。
• 重心計算を回避する最近傍アプローチを実装し、最も類似した語からの情報を集約して確率を推定する。
• KL発散に基づく類似性を用いて類似語を特定・重み付けし、データスパarsityに対するロバストネスを向上させる。
• 低頻度の出来事に対応できるようにモデルを拡張し、困惑度および音声認識誤り率を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 KL発散で測定される分布的類似性を用いることで、スパースデータ下での言語モデル構築に有効に応用できるか？
• RQ2 ソフトハイアラルキカルクラスタリングは、従来のハードクラスタリングと比較して、意味的差異をよりよく捉え、予測性能を向上させられるか？
• RQ3 類似性に基づく最近傍推定は、Katzのバックオフ法と比較して、語の意味あいまいさ解消および言語モデル構築において優れた性能を示せるか？
• RQ4 類似性ベースの推定により、低頻度の出来事における困惑度をどれほど低減でき、音声認識誤り率を改善できるか？
• RQ5 提案手法は、ドキュメントクラスタリング、語彙獲得、自動Thesaurus構築といった他のNLPタスクへも応用可能か？

主な発見

• ソフトハイアラルキカルクラスタリング手法により、直感的な言語的区別と整合するクラスタが得られ、言語モデルの予測性能が顕著に向上した。
• 最近傍アプローチにより、低頻度の出来事の予測において、標準的手法と比較して20%以上の困惑度低減が達成された。
• 類似性ベースのモデルは、音声認識誤り率を統計的に有意に低減させ、実用的価値を示した。
• 語の意味あいまいさ解消において、特に顕著な性能向上が見られ、標準的なバックオフ手法および誤り確率ベースラインを上回った。
• KL発散に基づく類似性を用いて、類似したが観測済みの出来事から情報を借りることで、未観測の出来事への一般化能力が向上した。
• ソフトクラスタリングの採用により、新規データの追加に伴う段階的再トレーニングが可能となり、完全な再クラスタリングを実行せずとも、所属確率を更新できるようになった。