[論文レビュー] Deleter: Leveraging BERT to Perform Unsupervised Successive Text Compression

Tong Niu, Caiming Xiong+1 more|arXiv (Cornell University)|Sep 7, 2019

Natural Language Processing Techniques参考文献 19被引用数 8

ひとこと要約

Deleter は、文のトークンを段階的・貪欲に削除することで、一貫性のある段階的圧縮文の系列を生成する完全に自己教師ありのテキスト圧縮モデルである。このモデルは、並列データやタスク固有のアーキテクチャを一切必要とせず、抽出的文圧縮において、教師あり最先端モデルと同等の性能を達成している。人間評価でも情報量と読みやすさの面で上回っており、並列データやタスク固有のアーキテクチャを一切必要としない点が特徴である。

ABSTRACT

Text compression has diverse applications such as Summarization, Reading Comprehension and Text Editing. However, almost all existing approaches require either hand-crafted features, syntactic labels or parallel data. Even for one that achieves this task in an unsupervised setting, its architecture necessitates a task-specific autoencoder. Moreover, these models only generate one compressed sentence for each source input, so that adapting to different style requirements (e.g. length) for the final output usually implies retraining the model from scratch. In this work, we propose a fully unsupervised model, Deleter, that is able to discover an "optimal deletion path" for an arbitrary sentence, where each intermediate sequence along the path is a coherent subsequence of the previous one. This approach relies exclusively on a pretrained bidirectional language model (BERT) to score each candidate deletion based on the average Perplexity of the resulting sentence and performs progressive greedy lookahead search to select the best deletion for each step. We apply Deleter to the task of extractive Sentence Compression, and found that our model is competitive with state-of-the-art supervised models trained on 1.02 million in-domain examples with similar compression ratio. Qualitative analysis, as well as automatic and human evaluations both verify that our model produces high-quality compression.

研究の動機と目的

• 並列データや手作業で作成した特徴量、構文ラベルを一切必要としない完全に自己教師ありのテキスト圧縮手法の開発。
• 削除経路を完全に公開することで、圧縮率の制御や重要な語の保持を柔軟に可能にする。
• タスク固有の微調整やオートエンコーダーを一切使用せず、事前学習済み言語モデル（BERT）のみで高品質な圧縮を実現する。
• 制御可能で解釈可能な圧縮プロセスを提供し、動的データ拡張や敵対的例生成を支援する。

提案手法

• Deleter は、有向非巡回グラフ内の最適な削除経路を見つけることで文圧縮を定式化し、各ノードは元の文の部分列を表す。
• 各候補削除のスコアは、BERT を用いて得られる平均パープレクサリティ（AvgPPL）で計算され、希少語へのバイアスを防ぐために長さ補正項が追加される。
• 段階的で貪欲な前方探索を用いて、経路内のすべての中間文における平均 AvgPPL を最小化する削除を逐次選択する。
• 各削除ステップでは複数のトークンを一度に削除可能であり、すべての中間文が文法的に整合性を持つことを保証する。
• 微調整や補助的教師信号を一切使用せず、BERT の言語モデル機能のみに依存する。
• 削除経路により、複数の妥当な圧縮出力を得られ、圧縮率やキーワードの保持を制御可能である。

実験結果

リサーチクエスチョン

• RQ1 完全に自己教師ありのモデルが、並列データや構文アノテーションを一切使わずに、文圧縮で競争力のある性能を達成できるか？
• RQ2 BERT を用いたモデルが、繰り返しの削除によって文法的に整合性のある段階的圧縮文の系列を発見できるか？
• RQ3 単一出力モデルと比較して、全削除経路を公開することで、テキスト圧縮における解釈可能性と制御性が向上するか？
• RQ4 パープレクサリティスコアに基づく自己教師ありモデルの性能は、抽出的文圧縮における教師あり最先端モデルと比べてどうか？
• RQ5 削除経路は、データ拡張や敵対的例生成といった下流応用に活用できるか？

主な発見

• Gigaword データセットでは、Deleter は F1 スコアで 54.0（アノテーター #1）および 62.6（アノテーター #2）を達成し、注意機構付き Seq2seq や LSTMs といった教師ありモデルを上回ったが、これは自己教師ありであるにもかかわらずである。
• 人間評価では、Deleter の圧縮文は、読みやすさ（2.88）がアノテーター #1（3.01）に近く、情報量（2.95）もアノテーター #1（3.21）に近く、アノテーター #2（3.56）との大きな差は見られたが、全体として優れた性能を示した。
• Google Compression データセットでは、Deleter は F1 スコア 50.0 を達成し、教師ありモデルよりは低いが、教師なしであり、かつ人間が編集した圧縮が難しいデータセットであることを考慮すると、依然として競争力がある。
• モデルが全削除経路を公開できることで、圧縮率やキーワードの保持に関する細かい制御が可能となり、これは単一出力モデルでは実現できない。
• 削除による意味的シフト（例：否定語の削除）に対しては、モデルのロバスト性がやや弱く、今後の意味的整合性のチェック統合が求められる。
• 削除経路に沿った中間文をサンプリングすることで、データ拡張や敵対的例生成への応用が強く示唆された。