[論文レビュー] Indexing with WordNet synsets can improve Text Retrieval

Julio Gonzalo, Felisa Verdejo+2 more|arXiv (Cornell University)|Aug 5, 1998

Topic Modeling参考文献 7被引用数 184

ひとこと要約

この論文は、語形の代わりにWordNetのsynsetを用いたテキスト検索システムのインデキシングを提案し、手動で意味あいまい性を解消したテストコレクションにおいて、検索パフォーマンスが最大29%向上することを示している。この手法は、完全な意味あいまい性解消と意味的同等性を活用し、正確性と再現率を向上させる。意味的同等性に基づくインデキシングが、クエリと文書が適切に意味あいまい性を解消された場合、標準的な語形インデキシングを上回ることを示している。

ABSTRACT

The classical, vector space model for text retrieval is shown to give better results (up to 29% better in our experiments) if WordNet synsets are chosen as the indexing space, instead of word forms. This result is obtained for a manually disambiguated test collection (of queries and documents) derived from the Semcor semantic concordance. The sensitivity of retrieval performance to (automatic) disambiguation errors when indexing documents is also measured. Finally, it is observed that if queries are not disambiguated, indexing by synsets performs (at best) only as good as standard word indexing.

研究の動機と目的

• 語の意味の解釈の困難さとは独立して、WordNetのsynsetがテキスト検索のインデキシング空間としての可能性を評価すること。
• 文書のインデキシングにおいて、自動的な語の意味の解釈（WSD）の誤りが検索パフォーマンスに与える影響を測定すること。
• クエリが意味あいまい性を解消されていない場合に、synsetインデキシングが検索性能を向上させるかどうかを評価すること。
• 多言語WordNetの統合を用いた、言語に依存しない情報検索へのsynsetの利用可能性を検討すること。
• 実世界の検索タスクにおいて、synsetベースのインデキシングが標準的な語素ベースのベクトル空間モデルを上回る可能性があるかどうかを明らかにすること。

提案手法

• 古典的なベクトル空間モデルを、個々の語形の代わりにWordNetのsynsetをインデキシング空間として使用するように変更する。
• Semcorの意味的一致コンcordanceから得られるゴールドスタンダードテストコレクションを作成するために、クエリと文書の両方をWordNetのsynsetに基づいて手動で意味あいまい性を解消する。
• 標準的な指標を用いて検索パフォーマンスを評価し、synsetインデキシングをベースラインの語形インデキシング（Smartラン）と比較する。
• 制御された意味あいまい性解釈誤り率（0%から60%まで）を導入することで、synsetインデキシングのロバストネスを評価する。
• クエリが意味あいまい性を解消されていない状態でのテストを行い、synsetベース検索が効果を発揮するためにはクエリの意味あいまい性解消が不可欠であるかどうかを評価する。
• synsetベースのベクトル空間における文書-クエリマッチングにコサイン類似度を用いるが、将来の拡張として意味的距離測定法の導入も検討可能である。

実験結果

リサーチクエスチョン

• RQ1 完全な意味あいまい性解釈が保証された場合、WordNetのsynsetをインデキシング空間として使用した場合のテキスト検索パフォーマンスの向上の可能性はどの程度か？
• RQ2 文書のインデキシングにおいて、自動的な語の意味の解釈（WSD）の誤りが検索パフォーマンスに与える影響はどの程度か？
• RQ3 クエリが意味あいまい性を解消されていない場合に、synsetベースのインデキシングは標準的な語形インデキシングを上回るか？
• RQ4 synsetによるインデキシングは、多言語WordNetのアライメントを通じて、多言語間情報検索への実用的道筋を提供するか？
• RQ5 現実の曖昧性を含む平均的なサイズのテキストコレクションにおいて、意味的同等性と完全な意味あいまい性解釈の利点を実現できるか？

主な発見

• 手動で意味あいまい性を解消したテストコレクションにおいて、WordNetのsynsetによるインデキシングは、標準的な語形インデキシングに比べて最大29%の検索パフォーマンス向上を達成した。
• 文書の意味あいまい性解釈誤り率が30%に達しても、synsetインデキシングは語インデキシングを上回った。これは、中程度の誤り率に対してもロバストであることを示している。
• 意味あいまい性解釈誤り率が30–60%に達しても、パフォーマンスは標準的な語インデキシングと同等またはそれ以上であり、実用的実現可能性が示された。
• クエリが意味あいまい性を解消されていない場合、synsetインデキシングは標準的な語インデキシングと同等の性能に留まり、クエリの意味あいまい性解釈がこの手法の成功に不可欠であることを示している。
• 信頼できるクエリの意味あいまい性解釈が可能であれば、synsetベースのインデキシングは検索性能を顕著に向上させられる可能性がある。文書の意味あいまい性解釈が不要でも、その恩恵を享受できる。
• 本研究は、意味的同等性と完全な意味あいまい性解釈が、synsetインデキシングの主な利点であり、従来の語素ベース手法に比べて正確性と再現率の両方を向上させられることを確認した。