[論文レビュー] Effective writing style imitation via combinatorial paraphrasing

Tommi Gröndahl, N. Asokan|arXiv (Cornell University)|May 31, 2019

Natural Language Processing Techniques参考文献 67被引用数 7

ひとこと要約

本稿では、組み合わせ的言い換えとスタイル固有の言い換え選択を用いることで、従来のエンコーダーデコーダー型およびルールベース手法よりも顕著に意味保持性を向上させる、新しいスタイル転送技術ParChoiceを提案する。ParChoiceは、5人の著者にわたるマルチ著者スタイル模倣において最大75%の成功を達成し、意味的整合性とスタイル転送性能の両面で最先端のベースラインを上回る。また、言い換え選択のランダム化により、敵対的訓練攻撃に対する耐性を示す。

ABSTRACT

Stylometry can be used to profile or deanonymize authors against their will based on writing style. Style transfer provides a defence. Current techniques typically use either encoder-decoder architectures or rule-based algorithms. Crucially, style transfer must reliably retain original semantic content to be actually deployable. We conduct a multifaceted evaluation of three state-of-the-art encoder-decoder style transfer techniques, and show that all fail at semantic retainment. In particular, they do not produce appropriate paraphrases, but only retain original content in the trivial case of exactly reproducing the text. To mitigate this problem we propose ParChoice: a technique based on the combinatorial application of multiple paraphrasing algorithms. ParChoice strongly outperforms the encoder-decoder baselines in semantic retainment. Additionally, compared to baselines that achieve non-negligible semantic retainment, ParChoice has superior style transfer performance. We also apply ParChoice to multi-author style imitation (not considered by prior work), where we achieve up to 75% imitation success among five authors. Furthermore, when compared to two state-of-the-art rule-based style transfer techniques, ParChoice has markedly better semantic retainment. Combining ParChoice with the best performing rule-based baseline (Mutant-X) also reaches the highest style transfer success on the Brennan-Greenstadt and Extended-Brennan-Greenstadt corpora, with much less impact on original meaning than when using the rule-based baseline techniques alone. Finally, we highlight a critical problem that afflicts all current style transfer techniques: the adversary can use the same technique for thwarting style transfer via adversarial training. We show that adding randomness to style transfer helps to mitigate the effectiveness of adversarial training.

研究の動機と目的

• 現在のスタイル転送技術における深刻な欠陥である、特に非自明な言い換え状況下での意味保持性の低さを是正すること。
• エンコーダーデコーダーモデルが失敗するような状況でも、元の意味を保持しつつ、著者スタイルを効果的に転送する手法を開発すること。
• 単一著者への模倣にとどまらず、マルチ著者スタイル模倣へとスタイル転送を拡張し、5人の著者にわたって最大75%の成功を達成すること。
• 敵対的訓練の脅威を調査し、これを緩和する手法を検討すること。敵対的訓練とは、敵がスタイル転送技術を用いて著者プロファイリングを損なうことを意図する攻撃である。
• 言い換え選択のランダム化が敵対的訓練の効果を低下させることを示し、実用的な防御メカニズムを提供すること。

提案手法

• ParChoiceは、入力テキストの多様な言い換えバージョンを生成するために、複数の言い換えアルゴリズムを並列に適用する組み合わせ的アプローチを採用する。
• スタイル固有の基準に基づいて最も適切な言い換えを選択することで、出力がターゲットの著者スタイルに一致しつつ、意味的内容を保持する。
• ルールベース手法（例：Mutant-X）と組み合わせることで、意味的整合性を損なわず、スタイル転送性能をさらに向上させる。
• ParChoiceは多段階パイプラインを採用する：複数のアルゴリズムによる言い換え生成、その後に得られたバージョンからスタイルに配慮した選択が行われる。
• 敵対的訓練に対する防御メカニズムとして、言い換え選択のランダム化を導入する。
• 本手法は、文単位およびドキュメント単位の著者プロファイリングデータセット（Brennan-Greenstadtおよび拡張版Extended-Brennan-Greenstadtコーパスを含む）で評価された。

実験結果

リサーチクエスチョン

• RQ1 言い換えベースのアプローチは、エンコーダーデコーダーモデルに比べ、スタイル転送時の意味保持性で優れていると言えるか？
• RQ2 ParChoiceはマルチ著者スタイル模倣においてどの程度有効であり、複数の著者にわたってどの程度の成功が達成できるか？
• RQ3 ParChoiceはルールベース手法と組み合わせることで、スタイル転送および意味保持性の両面で優れた性能を達成できるか？
• RQ4 敵対的訓練はどの程度スタイル転送技術を脅かすか？また、言い換え選択のランダム化はこの脅威を緩和できるか？
• RQ5 組み合わせ的フレームワーク内で複数の言い換えアルゴリズムを用いることで、より強固で多様なスタイル変換が達成できるか？

主な発見

• ParChoiceは、特に人間評価において、入力の単純な再現しか達成できない状況下でも、すべての3つのエンコーダーデコーダーベースラインを意味保持性の点で顕著に上回る。
• ParChoiceは、5人の著者にわたるマルチ著者スタイル模倣において最大75%の成功を達成し、複雑なスタイル転送状況下での有効性を示している。
• ルールベースベースラインMutant-Xと組み合わせた場合、ParChoiceはBrennan-Greenstadtおよび拡張版Extended-Brennan-Greenstadtコーパスにおいて、Mutant-X単体よりも高いスタイル転送性能を達成するとともに、より多くの意味的内容を保持している。
• ParChoiceは、2つの最先端のルールベース手法よりも顕著に優れた意味保持性を示しているが、Mutant-X単体ほどスタイル転送性能は高くない。
• ParChoiceにおける言い換え選択のランダム化は、敵対的訓練の効果を低下させ、結果として唯一、このような攻撃に対して耐性を示す手法である（スタイル転送性能は低いが）。
• 敵対的訓練をParChoiceに適用した場合、ランダム選択を用いることで、元のデータおよび変換済みデータの両方で著者プロファイリングの正確性が低下するが、これは、ランダム性の増加が実用的な防御メカニズムとして機能しうることを示唆している。