[論文レビュー] Features in Extractive Supervised Single-document Summarization: Case of Persian News

Hosein Rezaei, Seyed Amid Moeinzadeh+2 more|arXiv (Cornell University)|Sep 6, 2019

Advanced Text Analysis Techniques参考文献 38被引用数 4

ひとこと要約

本稿では、ペルシャ語における教師あり抽出的単一文書要約の文書に配慮した特徴工学的手法を提案し、文のベクトルに文書レベルの特徴（例：長さ、トピック）を統合することで文のランク付けを向上させている。実験の結果、モデルの精度（決定係数R²が0.122から0.176に上昇）と要約品質（ランダムベースラインを上回るROUGE-F1）が向上し、文脈に配慮した特徴が抽出的要約における性能向上に顕著に寄与することが示された。

ABSTRACT

Text summarization has been one of the most challenging areas of research in NLP. Much effort has been made to overcome this challenge by using either the abstractive or extractive methods. Extractive methods are more popular, due to their simplicity compared with the more elaborate abstractive methods. In extractive approaches, the system will not generate sentences. Instead, it learns how to score sentences within the text by using some textual features and subsequently selecting those with the highest-rank. Therefore, the core objective is ranking and it highly depends on the document. This dependency has been unnoticed by many state-of-the-art solutions. In this work, the features of the document are integrated into vectors of every sentence. In this way, the system becomes informed about the context, increases the precision of the learned model and consequently produces comprehensive and brief summaries.

研究の動機と目的

• 文書の文脈に依存する文のランク付けの限界に対処する。多くのモデルが文を独立したサンプルとして扱う一方で、文書全体の文脈を考慮しない。
• 文書の長さ、トピック分類、構造的性質などの文書レベル特徴を文の特徴ベクトルに統合することで、モデルの汎化性能と精度を向上させる。
• 文書に配慮した特徴が回帰モデルの精度と要約品質の両面で優れた性能をもたらすことを実証する。
• より正確な抽出的要約器の評価を可能にするために、ランダム回帰を用いた新たなベースラインを確立する。

提案手法

• 各文の特徴ベクトルに、文書の長さ、トピック分類、文の位置などの文書レベル特徴を統合し、文書に配慮した文表現を生成する。
• 教師あり回帰フレームワークを用い、線形回帰、決定木回帰、イプシロンサポートベクタ回帰（SVR）の3つの回帰モデルを評価した。その中でSVRが最も優れた結果を示した。
• 最終モデルは、RBFカーネル、イプシロン=0.01、デフォルトパラメータを用いたSVRであり、全データセットからのマージ済み文特徴ベクトルで学習された。
• 文のランク付けは、テストセット上で学習済みの回帰器を用いて行い、上位-n位の文を選択することで要約を生成する。
• ROUGEスコア（精度、再現率、F1）を用いて評価を行い、ランダム回帰ベースラインと性能を比較した。
• WebインターフェースおよびTelegramボットを用いてシステムを実装し、公開アクセスと再現性を確保した。

実験結果

リサーチクエスチョン

• RQ1 文の表現に文書レベル特徴を統合することで、教師あり抽出的要約モデルの性能が向上するか？
• RQ2 文書に配慮した特徴の統合が、回帰モデルの文の重要度予測精度に与える影響は何か？
• RQ3 提案手法は、ROUGEスコアおよびモデルのR²において、ランダムベースラインをどの程度上回るか？
• RQ4 文書に配慮した特徴は、モデルがグローバルなデータセット統計に依存するのを減らし、局所的な文書レベル要約品質を向上させるか？
• RQ5 文書レベル特徴は、特に情報量の増加とエントロピーの観点から、木ベースのモデルにおける意思決定プロセスにどのように影響を与えるか？

主な発見

• 文書に配慮した特徴を統合した結果、平均二乗誤差（MSE）は0.03448（実験1）から0.03068（実験2）に低下し、回帰モデルの精度が向上した。
• 文書に配慮した特徴を用いた際の決定係数（R²）は0.12238から0.17576に上昇し、モデルの適合度と予測力が顕著に向上した。
• 提案手法のROUGE-F1スコアはランダムベースラインを大幅に上回り、ランダムケースではF1が50％を超えるが、提案手法では顕著な改善が見られた。
• ランダム回帰ベースラインでもROUGE-F1が50％を超えたが、提案手法は依然としてそれを上回り、モデルがランダムな偶然を超えた意味のあるパターンを学習していることが示された。
• 結果から、文書に配慮した特徴は、特に木ベースのモデルにおいて、グローバルなデータセット統計への過剰な依存を減らし、より文脈に配慮した意思決定を可能にすることがわかった。
• 本研究は、文のランク付けが本質的に文書に依存するものであり、学習時に文書境界を無視すると性能が最適化されないことが確認された。