[논문 리뷰] Style Obfuscation by Invariance

Chris Emmery, Enrique Manjavacas외 1명|arXiv (Cornell University)|2018. 05. 18.

Authorship Attribution and Profiling참고 문헌 46인용 수 3

한 줄 요약

이 논문은 스타일 전이가 아닌 특정 스타일적 특성(예: 연령, 성별)에 대해 불변성을 가지도록 훈련하는 새로운 방법인 '불변성에 의한 난독화'를 제안한다. 자동에코더 또는 순서 기반 번역 프레임워크에서 기울기 반전 레이어(GRL)를 사용함으로써, 스타일 분류기의 성능이 우연수준에 도달하면서도 의미적 내용을 전이 기반 방법보다 더 잘 유지한다. 인간 평가를 통해 난독화 강도와 출력 품질 사이의 상충 관계가 확인되었다.

ABSTRACT

The task of obfuscating writing style using sequence models has previously been investigated under the framework of obfuscation-by-transfer, where the input text is explicitly rewritten in another style. These approaches also often lead to major alterations to the semantic content of the input. In this work, we propose obfuscation-by-invariance, and investigate to what extent models trained to be explicitly style-invariant preserve semantics. We evaluate our architectures on parallel and non-parallel corpora, and compare automatic and human evaluations on the obfuscated sentences. Our experiments show that style classifier performance can be reduced to chance level, whilst the automatic evaluation of the output is seemingly equal to models applying style-transfer. However, based on human evaluation we demonstrate a trade-off between the level of obfuscation and the observed quality of the output in terms of meaning preservation and grammaticality.

연구 동기 및 목표

• 스타일 전이 방식에서 흔히 발생하는 의미의 열화 문제를 해결하기 위해, 의미를 왜곡시키지 않고 스타일을 난독화하는 데 목적이 있다.
• 스태일적 특성에 대해 불변성을 가지도록 훈련하는 것이 난독화 과정에서 의미 유지에 기여하는지 조사한다.
• 기울기 반전 레이어(GRL)가 텍스트의 스타일 불변 표현을 학습하는 데 얼마나 효과적인지 평가한다.
• 병렬(순서 기반 번역)과 비병렬(자동에코더) 설정 간의 스타일 난독화 성능을 비교한다.
• 인간 평가를 통해 난독화 강도와 출력 품질 사이의 상충 관계를 평가한다.

제안 방법

• 문장 인코더와 스타일 분류기 사이에 기울기 반전 레이어(GRL)를 삽입하여 스타일 불변성을 강제하는 신경망 인코더-디코더 아키텍처를 사용한다.
• 모델을 훈련시켜 스타일 분류기의 정확도를 최소화하고, 이를 우연수준으로 유도하면서 의미적 내용을 유지한다.
• 병렬 및 비병렬 설정 모두에서 조건부 디코더를 사용하여 스타일 불변 잠재 표현 기반으로 출력을 생성한다.
• 병렬(쌍체 스타일 번역이 있는) 및 비병렬(자동에코더) 설정 모두에서 영문 성경 코퍼스에 모델을 적용한다.
• 자동 평가 지표(BLEU, METEOR, 임베딩 유사도)와 인간 평가를 사용하여 출력을 비교한다.
• GRL과 조건부 디코딩이 악성 분류기 성능과 의미 충실도에 미치는 영향을 평가한다.

실험 결과

연구 질문

• RQ1 스태일적 특성에 대해 불변성을 가지도록 훈련된 모델이 의미적 내용을 변경하지 않고 효과적인 스타일 난독화를 달성할 수 있는가?
• RQ2 의미 유지 및 문법적 타당성 측면에서 스타일 불변 모델은 스타일 전이 모델보다 얼마나 우수한가?
• RQ3 기울기 반전 레이어(GRL)의 사용이 스타일 분류기 정확도를 얼마나 낮추면서도 의미 일관성을 유지하는가?
• RQ4 비병렬 설정에서 GRL를 사용한 자동에코더 설정이 병렬 데이터를 가진 순서 기반 번역 모델보다 더 의미적으로 안정적인 재작성 결과를 낼 수 있는가?
• RQ5 인간 평가에 따르면 난독화 수준과 생성된 출력의 품질 사이의 상충 관계는 어떠한가?

주요 결과

• 스태일 분류기의 성능이 우연수준으로 떨어져, 성공적인 스타일 불변성이 입증되었다.
• 자동 평가 지표(BLEU, METEOR, 임베딩 유사도)에서 스타일 불변 모델의 출력이 스타일 전이 모델과 유사한 성능을 보였다.
• 인간 평가 결과, 난독화 강도가 높을수록 문법적 타당성과 의미 유지도가 낮아지는 명백한 상충 관계가 확인되었다.
• 비병렬 설정에서 GRL를 사용한 자동에코더 모델은 병렬 데이터를 가진 순서 기반 번역 모델보다 인간 평가에서 더 우수한 성능을 보였다.
• 정성적 분석 결과, 자동에코더 모델은 의미적으로 올바른 국소적 수정과 부분적 재작성을 생성했으며, 이는 스타일 중립적 재작성의 잠재력을 시사한다.
• 성경 코퍼스에서는 스타일 중립적 재작성의 증거를 찾기 어려웠지만, 자동에코더 접근 방식은 비병렬 설정에서의 잠재력을 보였다.