[論文レビュー] Extractive Summary as Discrete Latent Variables

Aran Komatsuzaki|arXiv (Cornell University)|Nov 14, 2018

Natural Language Processing Techniques参考文献 39被引用数 4

ひとこと要約

本稿では、テキスト圧縮のための離散的潜在変数として抽出的要約を用いることを提案し、tf-idf や双方向言語モデル（bi-LM）損失順位付けといった単純な手法が、最先端の VQ-VAE よりも優れた性能を示すことを実証している。主な発見は、言語が強力な自己圧縮コードとして機能することであり、情報量の高い少数のトークンが、階層的な生成を極めて効果的に可能にしていることである。

ABSTRACT

In this paper, we compare various methods to compress a text using a neural model. We find that extracting tokens as latent variables significantly outperforms the state-of-the-art discrete latent variable models such as VQ-VAE. Furthermore, we compare various extractive compression schemes. There are two best-performing methods that perform equally. One method is to simply choose the tokens with the highest tf-idf scores. Another is to train a bidirectional language model similar to ELMo and choose the tokens with the highest loss. If we consider any subsequence of a text to be a text in a broader sense, we conclude that language is a strong compression code of itself. Our finding justifies the high quality of generation achieved with hierarchical method, as their latent variables are nothing but natural language summary. We also conclude that there is a hierarchy in language such that an entire text can be predicted much more easily based on a sequence of a small number of keywords, which can be easily found by classical methods as tf-idf. We speculate that this extraction process may be useful for unsupervised hierarchical text generation.

研究の動機と目的

• 抽出的圧縮を用いて高品質な潜在変数を生成する手法としての検討により、教師なし系列生成を改善すること。
• 抽出的手法が、VQ-VAE のような学習済み離散的潜在変数モデルよりもテキスト圧縮で優れるかどうかを調査すること。
• 言語が本質的に圧縮コードとして機能しており、少数のキーワードが残りのテキストを要約できることを仮説として検証すること。
• 抽出的手法が、教師なし階層的テキスト生成の基盤としての可能性を探索すること。
• tf-idf などの単純で古典的な手法が、複雑なニューラルモデルと同等か、それ以上の性能を示す情報量の高い要約トークンを同定できるかどうかを評価すること。

提案手法

• 入力系列からトークンのサブセットを選択することで、抽出的要約を離散的潜在変数として用い、全文を表現する。
• 2つの抽出手法を比較：tf-idf スコアが最も高いトークンの選択と、双方向言語モデルからの個々のトークン損失が最も高いトークンの選択。
• 抽出されたトークンを条件として、言語モデルが全系列を生成する階層的生成フレームワークを採用する。
• 主な指標として条件付きパープレキシティ（log-ppl）を用いて圧縮性能を評価する。
• bi-LM を訓練し、各トークンの損失を計算し、このスコアを用いて情報量の高いトークンを順位付け・抽出する。
• 先行研究（例：Fan et al., 2018）と同一の評価プロトコルを適用することで、最先端モデルとの公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 抽出的要約手法は、VQ-VAE のような学習済み離散的潜在変数モデルよりもテキスト圧縮で優れるか？
• RQ2 tf-idf などの単純な古典的手法と、複雑なニューラルモデルとの間に、情報量の高い要約トークンを同定する能力に顕著な性能差があるか？
• RQ3 言語が自己圧縮コードとして機能する程度はどの程度か。少数のキーワードが残りのテキストを予測できるか？
• RQ4 抽出的手法は、教師なし階層的テキスト生成のための効果的でスケーラブルな潜在変数として機能できるか？
• RQ5 階層的生成の性能は、抽出された潜在表現の質に依存しており、その場合、異なる抽出手法の性能はどのように比較されるか？

主な発見

• tf-idf および bi-LM 損失に基づく抽出手法は、それぞれ 2.32 および 2.36 の最低のテスト log-perplexity を達成し、VQ-VAE（3.08）を顕著に上回った。
• bi-LM 手法は log-ppl 2.32 を達成し、ランダム選択（2.84）よりも 0.52 低い結果となり、情報量の高いトークンに強く反応していることが示された。
• tf-idf と bi-LM の性能はほぼ同一であり、両手法が類似した情報量の高いトークンを同定していることが示唆された。
• +tf-idf および +bi-LM モデルは、+VQ-VAE や +RL ベースラインでさえも上回り、後者は VQ-VAE と同等の性能にとどまった。
• 結果から、言語には少数のキーワードが顕著に高い情報を含み、全テキストの圧縮を効果的に行える階層的構造があることが示された。
• 本研究は、言語が強力な圧縮コードとして機能しており、キーワードの系列が全テキストを高い正確性で予測できることを裏付けるものであり、階層的生成モデルの成功を説明づけるものである。