[論文レビュー] Conceptual Text Summarizer: A new model in continuous vector space

Mohammad Ebrahim Khademi, Mohammad Fakhredanesh+1 more|arXiv (Cornell University)|Oct 30, 2017

Topic Modeling参考文献 31被引用数 3

ひとこと要約

本稿では、連続的ベクタースペース表現を用いた、教師なしでハイブリッドな深層学習と統計的手法を用いたペルシャ語テキスト要約の手法を提案する。単語埋め込みをHamshahri2コーパスから学習し、キーワード抽出、概念のクラスタリング、文のランク付けを行うことで要約を生成する。手動で特徴を設計しない教師ありペルシャ語手法よりもROUGE-2リcallスコアで7.5%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Traditional methods of summarization are not cost-effective and possible today. Extractive summarization is a process that helps to extract the most important sentences from a text automatically and generates a short informative summary. In this work, we propose an unsupervised method to summarize Persian texts. This method is a novel hybrid approach that clusters the concepts of the text using deep learning and traditional statistical methods. First we produce a word embedding based on Hamshahri2 corpus and a dictionary of word frequencies. Then the proposed algorithm extracts the keywords of the document, clusters its concepts, and finally ranks the sentences to produce the summary. We evaluated the proposed method on Pasokh single-document corpus using the ROUGE evaluation measure. Without using any hand-crafted features, our proposed method achieves state-of-the-art results. We compared our unsupervised method with the best supervised Persian methods and we achieved an overall improvement of ROUGE-2 recall score of 7.5%.

研究の動機と目的

• コスト効率が良く、教師なしのペルシャ語テキスト要約手法の開発を目的とする。
• 手動で設計された特徴量に依存せずに要約性能を向上させることを目的とする。
• テキストにおける概念クラスタリングのために、深層学習と従来の統計的手法を統合することを目的とする。
• ROUGE評価指標を用いて、Pasokh単一ドキュメントコーパスで最先端の結果を達成することを目的とする。
• 低リソース言語における要約において、連続的ベクタースペースモデリングの有効性を示すこと。

提案手法

• 単語埋め込みはHamshahri2コーパスと単語頻度辞書を用いて学習され、意味的コンセプトを連続的ベクタースペースで表現する。
• 本手法は、埋め込みに基づく類似度と統計的頻度分析を組み合わせて、ドキュメントからのキーワード抽出を実行する。
• テキスト内の概念は、深層学習の表現と従来の統計的クラスタリングアルゴリズムを統合したハイブリッド手法を用いてクラスタリングされる。
• クラスターセンターや埋め込み類似度スコアを用いて、概念的関連性とカバレッジに基づいて文をランク付けする。
• 最終的な要約は、上位ランクの文を選択することで生成され、重要な情報と一貫性が保持される。
• モデルは完全に教師なしに動作し、ラベル付き学習データや手動特徴量に依存しない。

実験結果

リサーチクエスチョン

• RQ1 手動特徴量を一切使用しない教師なし手法が、ペルシャ語テキスト要約で最先端の性能を達成できるか？
• RQ2 深層学習ベースの単語埋め込みと統計的クラスタリングを統合することで、テキストにおける概念グループ化にどの程度効果的か？
• RQ3 提案手法は、ペルシャ語要約ベンチマークにおいて、既存の教師あり手法をどの程度上回るか？
• RQ4 連続的ベクタースペース表現は、ペルシャ語テキストにおける顕著なコンセプトをどの程度的確に捉えられるか？
• RQ5 キーワード抽出と文のランク付け戦略が、要約品質に及ぼす影響は何か？

主な発見

• 提案手法は、最良の教師ありペルシャ語要約手法よりもROUGE-2リcallスコアで7.5%の向上を達成した。
• 本手法は、いかなる手動特徴量を用いずに、Pasokh単一ドキュメントコーパスで最先端の性能を達成した。
• Hamshahri2コーパスからの単語埋め込みの統合により、ペルシャ語テキストの意味的表現が顕著に向上した。
• ハイブリッドクラスタリング手法は、関連する概念を効果的にグループ化し、文選択の正確性を向上させた。
• モデルの教師なし性質のおかげで、低リソース言語用途においてスケーラブルでコスト効率の高い手法となった。
• 本手法は、未学習のペルシャ語ドキュメントに対しても強く一般化でき、コンセプト表現の堅牢性を示した。