[論文レビュー] Large-scale Hierarchical Alignment for Data-driven Text Rewriting

Nikola I. Nikolov, Richard H. R. Hahnloser|arXiv (Cornell University)|Oct 18, 2018

Text Readability and Simplification参考文献 31被引用数 4

ひとこと要約

本稿では、事前学習された文および文書埋め込みを用いた階層的近隣探索により、異なるテキストスタイルの単語語彙から、教師なしで擬似並列文対を抽出する大規模階層的アライメント（LHA）を提案する。この手法は、単独でもテキスト簡略化タスクで競争的な性能を示し、高価な並列語彙を代替または補完するのに有効な大規模な擬似並列語彙が実現可能であることを示している。

ABSTRACT

We propose a simple unsupervised method for extracting pseudo-parallel monolingual sentence pairs from comparable corpora representative of two different text styles, such as news articles and scientific papers. Our approach does not require a seed parallel corpus, but instead relies solely on hierarchical search over pre-trained embeddings of documents and sentences. We demonstrate the effectiveness of our method through automatic and extrinsic evaluation on text simplification from the normal to the Simple Wikipedia. We show that pseudo-parallel sentences extracted with our method not only supplement existing parallel data, but can even lead to competitive performance on their own.

研究の動機と目的

• テキスト簡略化やスタイル変換などのテキスト再ライティングタスクにおける並列単語語彙の不足に取り組むこと。
• 何ら初期並列データや手動アノテーションを必要としない教師なし手法を開発すること。
• 比較可能な語彙から、大規模かつ効率的でメモリ効率の良い意味的に整合する文対を抽出できること。
• 擬似並列データのみでテキスト再ライティングタスクにおいて競争的な性能を達成できるかどうかを評価すること。
• 自動評価および人的評価を用いて、テキスト簡略化タスクにおける手法の有効性を実証すること。

提案手法

• LHAは階層的近隣探索を実行する：まず、事前学習済みの文書埋め込みに基づいて2つの語彙間の文書をアライメントし、次にその対応する文書ペア内で文埋め込みを用いて文をアライメントする。
• この手法は、微調整や並列初期データを一切必要とせず、事前学習済みの文および文書埋め込みに依存する。
• 文のペアは高い意味的類似性に基づいて抽出されるが、元語彙と対象語彙間のスタイルの違いは保持される。
• このアプローチはノイズに強く、数億の文を含む語彙にも効率的にスケーリング可能である。
• 擬似並列ペアは、テキスト簡略化のためのニューラル機械翻訳（NMT）モデルの事前学習または微調整に使用される。
• 自動アライメントベンチマークおよび外部のテキスト簡略化タスクの両方で、自動的および人的評価を用いて手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 初期並列データが一切ない状態で、単語語彙の比較可能な語彙から効果的に擬似並列文対を抽出できるか？
• RQ2 LHAは、ニュースや科学的文体のような異なるテキストスタイル間で、文をどれほど効果的にアライメントできるか？
• RQ3 LHAで抽出された擬似並列データのみで、実際の並列データで学習されたモデルと比較して、テキスト簡略化タスクで競争的な性能を達成できるか？
• RQ4 域内および域外の擬似並列データを混合することで、テキスト簡略化タスクの性能が向上するか？
• RQ5 LHAによって生成されたデータで学習したモデルは、文法的整合性、意味の保持、簡略化の観点でベースラインと比較してどうなるか？

主な発見

• LHAは、事前学習済みの埋め込みと階層的近隣探索のみを用いて、単語語彙から高品質な擬似並列文対を効果的に抽出できた。
• この手法は、擬似並列データのみで学習した場合でも、テキスト簡略化タスクで競争的な性能を示し、27万2千件の実並列文で学習したベースラインを上回る簡略化性能を達成した。
• 人的評価では、混合された擬似並列データ（pseudo-all）で学習したモデルが、参考となるシンプルなウィキペディアと同等の簡略化スコアを達成し、平均簡略化評価値が0.77となった。
• 擬似並列データのみで学習したモデル（pseudo-all）は、文法的整合性スコア4.02および意味保持スコア2.96を達成し、実際の並列データが一切ないにもかかわらず、妥当な品質を示した。
• 域内（wiki-simp-all）と域外（wiki-news-all）の擬似並列データを併用することで性能が向上し、ドメイン特化のアライメントの利点が示された。
• 最良のモデル（wiki-simp-65）は、並列データと擬似並列データの混合データで学習されたもので、意味保持スコア3.76を達成し、ベースラインをわずかに上回り、参考基準に非常に近い水準であった。