[論文レビュー] A Lemma Based Evaluator for Semitic Language Text Summarization Systems

Tarek El‐Shishtawy, Fatma El-Ghannam|arXiv (Cornell University)|Mar 22, 2014

Natural Language Processing Techniques参考文献 7被引用数 4

ひとこと要約

本稿では、非常に屈曲語であるアラビア語のような言語における類似性検出を改善するために、アラビア語テキスト要約システムのための語彙素ベースの評価者を提案する。従来のステミングに代えてROUGE評価フレームワーク内で語彙素レベルの照合を採用することで、異なる語彙形間での意味的同等性の検出が著しく向上し、意味的類似性を捉える能力において標準的手法を上回る結果を得た。

ABSTRACT

Matching texts in highly inflected languages such as Arabic by simple stemming strategy is unlikely to perform well. In this paper, we present a strategy for automatic text matching technique for for inflectional languages, using Arabic as the test case. The system is an extension of ROUGE test in which texts are matched on token's lemma level. The experimental results show an enhancement of detecting similarities between different sentences having same semantics but written in different lexical forms..

研究の動機と目的

• アラビア語のような高度に屈曲するセム語族言語における標準的ステミングの限界を解決すること。
• 表面的なトークン照合ではなく、語彙素化を活用することで、テキスト要約システムにおける自動テキスト照合を改善すること。
• ROUGE評価フレームワークに語彙素レベルの比較を組み込み、より正確な要約評価を実現すること。
• 語彙素ベースの照合が、屈曲語の語形変化を介した意味的類似性検出にどの程度効果的であるかを評価すること。
• 表層形の変化を考慮したより強固なアラビア語要約評価指標を提供すること。

提案手法

• 提案手法は、語彙素化を用いてアラビア語トークンを基本形に正規化することで、語幹抽出を置き換える。
• 語彙素レベルの照合をROUGE評価フレームワークに統合し、特にROUGE-LおよびROUGE-S測定値を変更する。
• システムは、専用の屈曲解析器を用いて入力テキストにアラビア語語彙素化を適用する。
• 候補要約と基準要約間の類似性は、元の語形ではなく、重複する語彙素に基づいて計算される。
• ベンチマークデータセットを用いて、語彙素ベースのROUGEスコアと標準ROUGEスコアを比較する評価が行われる。
• アプローチは、リCALLおよびF1スコアの向上を測定するために、標準的なアラビア語要約ベンチマークで検証される。

実験結果

リサーチクエスチョン

• RQ1 従来のステミングと比較して、語彙素レベルの照合は、アラビア語要約における意味的類似性検出を改善できるか？
• RQ2 語彙素ベースのROUGEは、屈曲語向けの要約品質測定において、標準ROUGEと比べてどのように異なるか？
• RQ3 語彙素化は、語形変化に起因する誤った負例（false negatives）をどの程度低減するか？
• RQ4 提案された評価者により、アラビア語要約における人間の意味的同等性判断とよりよく一致するか？
• RQ5 語形正規化は、アラビア語要約タスクにおけるROUGE F1スコアにどのような影響を及ぼすか？

主な発見

• 語彙素ベースの評価者により、異なる屈曲形を持つ文間の意味的類似性検出が、標準ROUGEよりも顕著に向上した。
• アラビア語における語形変化の処理が優れているため、ROUGE-LおよびROUGE-SのリCALLスコアが上昇した。
• 実験では、語彙素レベルの照合が、動詞や名詞の活用形の違いに起因する誤った負例を低減した。
• 同じ語根を持つが時制・性別・格変化が異なる語彙形のケースにおいて、その改善効果が顕著に現れた。
• 語彙素化は、アラビア語要約評価において、ステミングよりも効果的な正規化戦略であると確認された。
• 強化された評価者により、要約タスクにおける人間の意味的同等性判断とより強く一致した。