[論文レビュー] Unsupervised Paraphrasing by Simulated Annealing

Xianggen Liu, Lili Mou+4 more|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 41被引用数 6

ひとこと要約

本稿では、類似性、表現の多様性、文の自然さを同時に最適化する反復的単語レベル編集を用い、模擬的冷却法の最適化問題としてパラフレーズ生成を定式化する新しい非教師付きパラフレージング手法UPSAdを提案する。コピー機構を組み合わせることで、語彙の多様性と意味の整合性を維持し、Quora、Wikianswers、MSCOCO、Twitterの4つのベンチマークで最先端の性能を達成し、多くの教師ありドメイン適応モデルを上回る。

ABSTRACT

Unsupervised paraphrase generation is a promising and important research topic in natural language processing. We propose UPSA, a novel approach that accomplishes Unsupervised Paraphrasing by Simulated Annealing. We model paraphrase generation as an optimization problem and propose a sophisticated objective function, involving semantic similarity, expression diversity, and language fluency of paraphrases. Then, UPSA searches the sentence space towards this objective by performing a sequence of local editing. Our method is unsupervised and does not require parallel corpora for training, so it could be easily applied to different domains. We evaluate our approach on a variety of benchmark datasets, namely, Quora, Wikianswers, MSCOCO, and Twitter. Extensive results show that UPSA achieves the state-of-the-art performance compared with previous unsupervised methods in terms of both automatic and human evaluations. Further, our approach outperforms most existing domain-adapted supervised models, showing the generalizability of UPSA.

研究の動機と目的

• 大規模な並列パラフレーズデータの不足、特にリソースが限られた環境やドメイン特化した設定における課題に対処すること。
• 意味の保存、文の自然さ、語彙的多様性の間で制御可能なトレードオフを可能にすることで、非教師付きパラフレーズ生成の性能を向上させること。
• 多様なドメインにまたがる非教師付きと教師ありパラフレージングモデルの性能格差を縮小すること。
• 離散的テキスト生成において、確率的サンプリングと比較して模擬的冷却法が優れているかどうかを検証すること。

提案手法

• 挿入、置換、削除といった離散的文書編集の最適化として、パラフレーズ生成を模擬的冷却法で定式化する。
• 意味的類似度（文レベルおよびキーワードレベル）、表現の多様性、文の自然さを統合した複合的目的関数を設計し、探索をガイドする。
• 希少語や未知語彙語を編集中に保持するコピー機構を導入し、意味の整合性を維持する。
• 温度制御された受容確率を用い、探索（高温）と活用（低温）のバランスをとる。
• 目的関数内の意味的類似度および文の自然さスコアを、事前学習済みの文埋め込みモデル（例：BERT）を用いて計算する。
• 冷却スケジュールを採用し、初期段階では局所最適解からの脱出を可能にし、後続段階では高品質な解への収束を促進する。

実験結果

リサーチクエスチョン

• RQ1 模擬的冷却法は、意味的類似度、多様性、自然さといった対立する複数の目的関数を、非教師付きパラフレーズ生成において効果的に最適化できるか？
• RQ2 目的関数に表現の多様性を組み込むことで、生成されたパラフレーズの質および独自性はどのように変化するか？
• RQ3 UPSAdのような非教師付き手法は、ドメイン特化データで微調整された教師ありモデルと同等か、それ以上の性能を発揮できるか？
• RQ4 模擬的冷却法の初期温度および冷却スケジュールの設定に、性能がどれほど敏感か？

主な発見

• UPSAdはQuora、Wikianswers、MSCOCO、Twitterの4つのベンチマークデータセットで、自動評価および人的評価の両方において、すべての先行非教師付き手法を上回り、最先端の性能を達成した。
• Quoraデータセットでは、iBLEUスコアが12.41に達し、次に優れた非教師付き手法と比較して2ポイント以上も顕著に上回った。
• アブレーションスタディの結果、目的関数の各構成要素（意味的類似度、多様性、自然さ）が性能向上に寄与していることが確認され、特に表現の多様性が顕著な影響を示した。
• コピー機構の導入により、iBLEUが約0.1ポイント向上し、希少語や重要な語彙の保持が意味の整合性を維持する上で有効であることが示された。
• 冷却スケジュールは極めて重要である：温度を固定する（メトロポリス・ハスティングス法と同様に）と性能が低下し、動的温度減少の恩恵が確認された。
• UPSAdは、Wikianswersで微調整された教師ありモデルをも上回った。これは、ドメインをまたいで優れた一般化性能と頑健性を示している。