[論文レビュー] A Continuously Growing Dataset of Sentential Paraphrases

Wuwei Lan, Siyu Qiu+2 more|arXiv (Cornell University)|Aug 1, 2017

Topic Modeling参考文献 47被引用数 15

ひとこと要約

本論文では、同じURLを共有するツイートを連結することで、人間によるフィルタリングや分類器に依存せずに、継続的かつスケーラブルに大規模な文の対訳文を収集する新規手法を提示する。このアプローチにより、51,524組の手動ラベル付き文のペアからなるゴールドスタンダードデータセットが得られ、月間約30,000件の新しい対訳文が自動抽出可能で、精度は約70％に達する。これは、対訳文同定および生成研究を顕著に前進させる。

ABSTRACT

A major challenge in paraphrase research is the lack of parallel corpora. In this paper, we present a new method to collect large-scale sentential paraphrases from Twitter by linking tweets through shared URLs. The main advantage of our method is its simplicity, as it gets rid of the classifier or human in the loop needed to select data before annotation and subsequent application of paraphrase identification algorithms in the previous work. We present the largest human-labeled paraphrase corpus to date of 51,524 sentence pairs and the first cross-domain benchmarking for automatic paraphrase identification. In addition, we show that more than 30,000 new sentential paraphrases can be easily and continuously captured every month at ~70% precision, and demonstrate their utility for downstream NLP tasks through phrasal paraphrase extraction. We make our code and data freely available.

研究の動機と目的

• 文の対訳文研究に不可欠な大規模かつ高品質な並列コーパスの著しい不足に対処すること。
• 人間ラベルデータや分類器ベースのフィルタリングに依存しない、スケーラブルで自動化された対訳文収集手法の開発。
• これまでで最大の手動アノテーション対訳文コーパスの作成。対訳文同定モデルの強固な訓練と評価を支援。
• 最新のNLP応用に適した、継続的かつリアルタイムな対訳文収集の実現。
• PPDBなどの既存リソースを補完し、SNSから得られる非公式でユーザー生成の対訳文を捉えること。

提案手法

• ツイートに共通するURLを、おそらく対訳文である文をグループ化するためのシグナルとして活用。
• URLの共起を用いて候補となる文のペアを形成。同じ記事にリンクするツイートは、おそらく類似した内容を表現すると仮定。
• 意味的同等性を検証するための手動アノテーションを実施し、51,524組の文のペアからなるゴールドスタンダードデータセットを構築。
• 語の対応付け（例：GIZA++、Jacana、Sultan）を用いて、収集した文のペアからフレーズレベルの対訳文を抽出。
• 言語モデルスコア、翻訳スコア、GloVe特徴量を用いて、抽出されたフレーズレベル対訳文を評価・順位付け。
• 毎月URLベースの手法を再適用することで、新しい対訳文を継続的に更新可能なリソースを維持。

実験結果

リサーチクエスチョン

• RQ1 SNSにおける共通URLが、大規模に潜在的な対訳文を同定するための信頼できるシグナルとして機能するか。
• RQ2 URLリンクを用いて収集された対訳文コーパスの品質と多様性は、既存の手動で整備されたデータセットと比較してどの程度か。
• RQ3 この新しいクロスドメインコーパスで訓練された自動対訳文同定モデルは、異なるドメインに一般化できる程度はどの程度か。
• RQ4 アライメント技術を用いて、このデータから最新のフレーズレベル対訳文を効果的に抽出できるか。
• RQ5 PPDBなどの既存リソースと比較して、この新しいデータセットはカバレッジと言語的多様性の面でどの程度補完的か。

主な発見

• 提案手法により、これまでで最大のゴールドスタンダード対訳文コーパス（51,524組の文ペア）が成功裏に生成された。
• 月間約30,000件の新しい文の対訳文が自動収集可能で、推定精度は約70％に達する。
• 意味のある非対訳文ペアや複数の参照文を含むため、対訳文同定および生成モデルの訓練と評価に優れた支援が可能。
• 語の対応付けによるフレーズレベル対訳文抽出は高品質な結果を示し、Sultanアライナで上位にランクされたペアの34.4％がPPDBと重複しており、強力なカバレッジと新規性を示している。
• 人間評価スケール（5段階）で上位10％のペアの90％が高品質（5/5）と評価されたことから、先行研究（BUCC-2013）を上回る性能を発揮した。
• カバレッジ比較では、新しいTwitter URLベースの対訳文データとPPDBとの重複率がわずか1.3％にとどまり、非公式で動的な言語を捉える点で補完的であることが確認された。