[논문 리뷰] Effective writing style imitation via combinatorial paraphrasing

Tommi Gröndahl, N. Asokan|arXiv (Cornell University)|2019. 05. 31.

Natural Language Processing Techniques참고 문헌 67인용 수 7

한 줄 요약

이 논문은 기존의 인코더-디코더 및 룰 기반 방법보다 의미 유지 능력을 크게 향상시킨 새로운 스타일 전이 기법인 ParChoice를 제안한다. ParChoice는 조합적 복구 및 스타일별 복구 선택을 활용하여 비정형 복구 상황에서도 우수한 성능을 발휘한다. 다중 저자 스타일 모방에서 최대 75%의 성공률을 기록하며, 의미 충실도와 스타일 전이 성능에서 최신 기준 기준을 초월한다. 또한 복구 선택의 무작위화는 적대적 훈련 공격에 저항하는 데 기여한다.

ABSTRACT

Stylometry can be used to profile or deanonymize authors against their will based on writing style. Style transfer provides a defence. Current techniques typically use either encoder-decoder architectures or rule-based algorithms. Crucially, style transfer must reliably retain original semantic content to be actually deployable. We conduct a multifaceted evaluation of three state-of-the-art encoder-decoder style transfer techniques, and show that all fail at semantic retainment. In particular, they do not produce appropriate paraphrases, but only retain original content in the trivial case of exactly reproducing the text. To mitigate this problem we propose ParChoice: a technique based on the combinatorial application of multiple paraphrasing algorithms. ParChoice strongly outperforms the encoder-decoder baselines in semantic retainment. Additionally, compared to baselines that achieve non-negligible semantic retainment, ParChoice has superior style transfer performance. We also apply ParChoice to multi-author style imitation (not considered by prior work), where we achieve up to 75% imitation success among five authors. Furthermore, when compared to two state-of-the-art rule-based style transfer techniques, ParChoice has markedly better semantic retainment. Combining ParChoice with the best performing rule-based baseline (Mutant-X) also reaches the highest style transfer success on the Brennan-Greenstadt and Extended-Brennan-Greenstadt corpora, with much less impact on original meaning than when using the rule-based baseline techniques alone. Finally, we highlight a critical problem that afflicts all current style transfer techniques: the adversary can use the same technique for thwarting style transfer via adversarial training. We show that adding randomness to style transfer helps to mitigate the effectiveness of adversarial training.

연구 동기 및 목표

• 현재 스타일 전이 기법의 핵심적 결함인 낮은 의미 유지 능력을 해결하기 위해, 특히 비정형 복구 상황에서의 성능을 향상시키는 데 목적이 있다.
• 기존의 인코더-디코더 모델이 실패하는 경우에도 원본 의미를 유지하면서 효과적으로 글 스타일을 전이할 수 있는 방법을 개발하는 데 목적이 있다.
• 단일 저자 모방을 넘어서 다중 저자 스타일 모방으로의 확장을 이루며, 다섯 명의 저자에 대해 최대 75%의 성공률을 달성하는 데 목적이 있다.
• 적대적 훈련의 위협을 조사하고 이를 완화하기 위한 방법을 모색하는 데 목적이 있다. 여기서 적대적 훈련은 스타일 전이 기법을 활용해 저자 프로파일링을 약화시키는 데 목적이 있다.
• 복구 선택의 무작위화가 적대적 훈련의 효과를 감소시켜 실용적인 방어 메커니즘을 제공할 수 있음을 보여주는 데 목적이 있다.

제안 방법

• ParChoice는 복수의 복구 알고리즘을 동시에 적용하여 입력 텍스트의 다양한 복구 변형을 생성하는 조합적 접근을 사용한다.
• 출력 텍스트가 목표 글 스타일과 일치하면서도 의미 내용을 유지하기 위해 스타일 기반 기준에 따라 가장 적절한 복구를 선택한다.
• 룰 기반 기법인 Mutant-X와의 조합을 통해 의미 충실도를 훼손하지 않으면서도 스타일 전이 성능을 더욱 향상시킨다.
• ParChoice는 다단계 파이프라인을 사용한다: 복수의 알고리즘을 통한 복구 생성 후, 생성된 변형들 중에서 스타일 인식 기반 선택을 수행한다.
• 적대적 훈련에 대응하기 위한 방어 메커니즘으로 복구 선택의 무작위화를 도입한다.
• 논문은 문장 수준 및 문서 수준의 저자 프로파일링 데이터셋, 특히 Brennan-Greenstadt 및 확장된 Brennan-Greenstadt 코퍼스를 대상으로 평가한다.

실험 결과

연구 질문

• RQ1 복구 기반 접근이 스타일 전이 과정에서 의미 유지 능력 측면에서 인코더-디코더 모델을 능가할 수 있는가?
• RQ2 ParChoice는 다중 저자 스타일 모방에서 얼마나 효과적인가? 여러 저자에 대해 어떤 정도의 성공률을 달성할 수 있는가?
• RQ3 ParChoice는 룰 기반 기법과 조합하여 스타일 전이 및 의미 유지 능력에서 뛰어난 성능을 달성할 수 있는가?
• RQ4 적대적 훈련이 얼마나 심각하게 스타일 전이 기법의 성능을 떨어뜨릴 수 있으며, 복구 선택의 무작위화가 이러한 위협을 완화시킬 수 있는가?
• RQ5 조합적 프레임워크 내에서 복수의 복구 알고리즘을 사용하면 더 강력하고 다양한 스타일 변환을 이끌 수 있는가?

주요 결과

• ParChoice는 세 가지 인코더-디코더 기준 기준보다 의미 유지 능력에서 뚜렷이 뛰어나며, 특히 인간 평가에서 입력을 단순히 반복하는 경우에도 만족스러운 복구 결과를 얻을 수 있다.
• ParChoice는 다섯 명의 저자에 대해 다중 저자 스타일 모방에서 최대 75%의 성공률을 기록하며, 복잡한 스타일 전이 상황에서의 효과성을 입증한다.
• 룰 기반 기준인 Mutant-X와 조합했을 때, ParChoice는 Brennan-Greenstadt 및 확장된 Brennan-Greenstadt 코퍼스에서 가장 높은 스타일 전이 성능를 기록하며, Mutant-X 단독 사용보다 더 많은 의미 내용을 유지한다.
• ParChoice는 비록 Mutant-X 단독 사용보다 스타일 전이 능력은 떨어지지만, 두 개의 최신 룰 기반 기법보다 뚜렷이 뛰어난 의미 유지 능력을 보인다.
• ParChoice에서 복구 선택의 무작위화는 적대적 훈련의 효과를 감소시켜, 유일하게 이러한 공격에 저항하는 기법이 되며, 스타일 전이 성능가 낮더라도 효과적이다.
• ParChoice에 무작위 선택을 적용한 적대적 훈련은 원본 데이터 및 변환된 데이터 양쪽에서 프로파일링 정확도를 떨어뜨리지만, 이는 높은 무작위성의 활용이 실질적인 방어 메커니즘으로 기능할 수 있음을 시사한다.