[論文レビュー] Style Obfuscation by Invariance

Chris Emmery, Enrique Manjavacas+1 more|arXiv (Cornell University)|May 18, 2018

Authorship Attribution and Profiling参考文献 46被引用数 3

ひとこと要約

本稿では、特定のスタイル的特徴（例：年齢、性別）に対して不変であるように訓練するスタイルの難読化手法「不変性に基づく難読化」を提案する。オートエンコーダーまたは系列対系列フレームワークに勾配反転層（GRL）を適用することで、スタイル分類器の性能が確率的水準にまで低下する一方で、意味的コンテンツの保持は転送ベースの手法よりも優れている。人的評価により、難読化の強度と出力品質のトレードオフが確認された。

ABSTRACT

The task of obfuscating writing style using sequence models has previously been investigated under the framework of obfuscation-by-transfer, where the input text is explicitly rewritten in another style. These approaches also often lead to major alterations to the semantic content of the input. In this work, we propose obfuscation-by-invariance, and investigate to what extent models trained to be explicitly style-invariant preserve semantics. We evaluate our architectures on parallel and non-parallel corpora, and compare automatic and human evaluations on the obfuscated sentences. Our experiments show that style classifier performance can be reduced to chance level, whilst the automatic evaluation of the output is seemingly equal to models applying style-transfer. However, based on human evaluation we demonstrate a trade-off between the level of obfuscation and the observed quality of the output in terms of meaning preservation and grammaticality.

研究の動機と目的

• スタイル転送に基づく難読化で一般的に見られる意味の劣化を是正すること。すなわち、分類器をだますために意味を変更するモデルの問題を解決すること。
• スタイル的特徴に対して不変であるように訓練することで、難読化中の意味の保持が向上するかを調査すること。
• 勾配反転層（GRL）がテキストのスタイル不変表現を学習するのにどの程度有効であるかを評価すること。
• 平行（系列対系列）と非平行（オートエンコーダー）の設定におけるスタイル難読化の性能を比較すること。
• 人的評価を用いて、難読化の強度と出力品質のトレードオフを評価すること。

提案手法

• 文のエンコーダーとスタイル分類器の間に勾配反転層（GRL）を挿入することで、スタイル不変性を強制するニューラルエンコーダー・デコーダー構造を採用する。
• モデルを訓練する際、スタイル分類器の精度を最小化（確率的水準に近づける）ようにし、同時に意味的コンテンツを保持するようにする。
• 平行および非平行設定の両方で、スタイル不変の潜在表現に基づいて出力を生成するための条件付きデコーダーを採用する。
• 平行（ペアドスタイル翻訳付き）および非平行（オートエンコーダー）の設定で、英語の聖書コーパスにモデルを適用する。
• 自動評価指標（BLEU、METEOR、埋め込み類似度）と人的評価を用いて出力を比較する。
• GRLおよび条件付きデコーディングの、敵対的性能と意味的整合性への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 スタイル的特徴に対して不変であるように訓練されたモデルは、意味的コンテンツを変化させることなく、効果的なスタイル難読化を達成できるか？
• RQ2 意味の保持および文法的整合性の観点から、スタイル不変モデルとスタイル転送モデルの性能はどのように異なるか？
• RQ3 勾配反転層（GRL）の使用が、スタイル分類器の精度をどの程度低下させつつも意味的整合性を維持できるか？
• RQ4 GRLを用いたオートエンコーダー設定は、平行データを用いた系列対系列モデルよりも、より意味的に安定した再書き換えを生成するか？
• RQ5 人的評価によるところ、難読化の強度と生成出力の品質のトレードオフはどのようなものか？

主な発見

• スタイル分類器の性能が確率的水準まで低下した。これは、成功したスタイル不変性を示している。
• 自動評価指標（BLEU、METEOR、埋め込み類似度）の結果、スタイル不変モデルの出力はスタイル転送モデルの出力と同等の水準であった。
• 人的評価により、明確なトレードオフが確認された。難読化の強度が高くなるほど、文法的整合性と意味の保持が低く評価された。
• オートエンコーダー設定では、GRLを用いたモデルが、平行データを活用する系列対系列モデルを人的評価で上回った。
• 定性的な分析から、オートエンコーダー型モデルは意味的に正しい局所的変更や部分的再書き換えを生成しており、スタイル中立の再書き換えの可能性を示唆している。
• 聖書コーパスではスタイル中立の再書き換えの証拠は見つけにくかったが、非平行設定においてオートエンコーダー手法が有望であることが示された。