[論文レビュー] New Alignment Methods for Discriminative Book Summarization

David Bamman, Noah A. Smith|arXiv (Cornell University)|May 6, 2013

Natural Language Processing Techniques参考文献 17被引用数 16

ひとこと要約

本稿では、全書籍と要約の間の極端な長さ差を扱うために、非教師付き判別的書籍要約のための2つの新しい隠れマルコフモデル（HMM）ベースのアライメント手法を提案する。パassageモデルは、一意語言語モデルの尤度確率を用いて、文書のパassageを要約文にアライメントする。一方、トークンモデルは、HMMアライメントを長く疎にアライメントされた文書に拡張する。両手法とも、1.2%の要約-書籍比を示すProject Gutenberg-Wikipediaデータセット上で、抽出的書籍要約の性能を向上させる。

ABSTRACT

We consider the unsupervised alignment of the full text of a book with a human-written summary. This presents challenges not seen in other text alignment problems, including a disparity in length and, consequent to this, a violation of the expectation that individual words and phrases should align, since large passages and chapters can be distilled into a single summary phrase. We present two new methods, based on hidden Markov models, specifically targeted to this problem, and demonstrate gains on an extractive book summarization task. While there is still much room for improvement, unsupervised alignment holds intrinsic value in offering insight into what features of a book are deemed worthy of summarization.

研究の動機と目的

• 長編書籍と短い人間による要約の間の非教師付きアライメントの課題に対処すること。伝統的な語レベルのアライメントは、極端な長さ差のため失敗する。
• 個々の語や語句の対応ではなく、全体のパassageや章が単一の要約文に対応する可能性を認識するアライメント技術を開発すること。
• 通常ニュース記事の訓練に使われる判別的要約手法を、要約-ソース比が著しく低い（平均1.2%）書籍要約分野に適応すること。
• 非教師付きアライメントの内在的価値を探索し、要約に最も顕著とされるテクスト的特徴を明らかにすること。
• HMMベースのアライメントモデルが、書籍テキスト要約タスクにおいて長距離で疎なアライメントを効果的に捉えることができることを示すこと。

提案手法

• パassageモデルでは、HMMの状態をソース書籍内の連続するパassageと定義し、観測を要約文とする。発生確率は、パassage下での要約文の一意語言語モデル尤度から導出される。
• トークンモデルでは、個々のソーストークンをHMMの状態とし、要約トークンを観測とする。発生モデルには語彙的同一性と類義語を用い、遷移は距離のボックスで定義し、疎なアライメントをモデル化する。
• 両モデルとも、期待最大化を用いて状態遷移確率と発生確率を学習するHMMを用い、終状態モデリングを避けるためにシーケンス長を明示的に条件付ける。
• パassageモデルは生成的アプローチを採用し、パassageが与えられたときの要約文の尤度をHMM尤度により計算することで、要約コンテンツに長く一貫したセグメントをアライメント可能にする。
• トークンモデルは、局所的な距離ボックスに制限された遷移を用いることで、HMMアライメントフレームワークを長文書に一般化し、スケーラビリティとアライメント精度を向上させる。
• 両モデルの推論では、アライメント確率を計算するためにフォワードバックワード法を用い、パラメータ学習は観測された要約文アライメントの尤度を最大化するEM法で行う。

実験結果

リサーチクエスチョン

• RQ1 HMMベースのモデルは、従来の語レベルアライメントが失敗する長く低比率のソース文書（例：書籍）と短い要約との間で、効果的にアライメントできるか？
• RQ2 パassageや章全体が単一の要約文に対応するという事実を考慮し、アライメントモデルはどのように調整できるか？
• RQ3 ソースパassage下での要約文の一意語言語モデル尤度確率は、書籍要約におけるアライメント品質をどの程度向上させるか？
• RQ4 疎で長文書向けの一般化されたHMMフレームワークは、抽出的書籍要約タスクにおいて、標準的手法を上回る性能を示せるか？
• RQ5 書籍と要約の非教師付きアライメントから、要約に関連する特徴に関するどのような知見が得られるか？

主な発見

• パassageモデルは、一意語言語モデル尤度確率を用いて、一貫したソースパassageを要約文にアライメントすることで、抽出的書籍要約の性能を顕著に向上させる。
• 距離ボックス化された遷移を用いてHMMアライメントを長く疎にアライメントされた文書に拡張したトークンモデルは、ベースライン手法よりも高いアライメント精度を示す。
• 平均して、要約は対応する書籍の長さの1.2%にとどまるため、標準的なアライメント仮定に挑戦する極端な長さ差が顕在化している。
• 本研究では、非教師付きアライメントが、要約に値するとされる書籍の特徴を明らかにできることを示し、性能指標を超えた解釈可能性を提供する。
• 提示された2つのHMMベースの手法は、抽出的書籍要約タスクにおいて、既存のアライメント手法を上回り、特に長距離で粗い粒度のアライメントを捉える点で優れている。
• 結果から、語レベルではなくパassageレベルでのアライメントモデリングが、ソーステキストのサイズの不均衡を考慮した有効な書籍要約に不可欠であることが示唆される。