[논문 리뷰] Detecting Cross-Lingual Plagiarism Using Simulated Word Embeddings

Victor U. Thompson|arXiv (Cornell University)|2017. 12. 29.

Topic Modeling참고 문헌 21인용 수 3

한 줄 요약

이 논문은 온라인 번역 API에 의존하지 않고 Google 번역의 출력을 모방하는 시뮬레이션된 워드 임베딩 모델을 제안한다. 이는 번역된 단어와 그 반의어를 동일한 임베딩 공간에 매핑하여 다국어 표절 탐지(CLPD)에서 최신 기술 수준의 성능을 달성한다. 실시간 기계 번역을 사용하는 베이스라인(T+MA 모델)보다 우수한 성능을 보였다.

ABSTRACT

Cross-lingual plagiarism (CLP) occurs when texts written in one language are translated into a different language and used without acknowledging the original sources. One of the most common methods for detecting CLP requires online machine translators (such as Google or Microsoft translate) which are not always available, and given that plagiarism detection typically involves large document comparison, the amount of translations required would overwhelm an online machine translator, especially when detecting plagiarism over the web. In addition, when translated texts are replaced with their synonyms, using online machine translators to detect CLP would result in poor performance. This paper addresses the problem of cross-lingual plagiarism detection (CLPD) by proposing a model that uses simulated word embeddings to reproduce the predictions of an online machine translator (Google translate) when detecting CLP. The simulated embeddings comprise of translated words in different languages mapped in a common space, and replicated to increase the prediction probability of retrieving the translations of a word (and their synonyms) from the model. Unlike most existing models, the proposed model does not require parallel corpora, and accommodates multiple languages (multi-lingual). We demonstrated the effectiveness of the proposed model in detecting CLP in standard datasets that contain CLP cases, and evaluated its performance against a state-of-the-art baseline that relies on online machine translator (T+MA model). Evaluation results revealed that the proposed model is not only effective in detecting CLP, it outperformed the baseline. The results indicate that CLP could be detected with state-of-the-art performances by leveraging the prediction accuracy of an internet translator with word embeddings, without relying on internet translators.

연구 동기 및 목표

• 온라인 기계 번역기의 확장성 및 의존성 문제를 해결하기 위해.
• 실시간 번역 서비스에 대한 의존도를 제거하여 대규모 문서 비교에서 느리고 불안정한 번역을 방지하기 위해.
• 학습에 평행 코퍼스가 필요하지 않은 다국어 CLPD 모델을 개발하기 위해.
• 번역된 텍스트에 반의어 치환 기법이 적용되었을 때의 탐지 성능 향상을 위해.
• 실제 온라인 번역기의 행동을 모방하는 시뮬레이션된 임베딩을 사용하여 최신 기술 수준의 CLPD 성능를 달성하기 위해.

제안 방법

• 모델은 다국어 코퍼스를 기반으로 훈련하여 여러 언어 간의 단어와 번역어를 동일한 벡터 공간에 매핑함으로써 시뮬레이션된 워드 임베딩를 생성한다.
• 검색 정확도 향상을 위해 번역된 단어 벡터와 그 반의어를 임베딩 공간에 복제함으로써 예측 확률을 향상시킨다.
• 사전 학습된 워드 임베딩(예: Word2Vec 또는 GloVe)을 활용하고 평행 문장 쌍이 필요 없이 번역 매핑을 적용한다.
• 공통 임베딩 공간에서 최근접 이웃 검색을 사용하여 잠재적인 표절 번역을 식별한다.
• 반의어 치환 문제에 대응하기 위해 반의어 벡터를 임베딩 공간에 포함시켜 탐지의 강건성을 유지한다.
• 추론 중에 정확한 번역어와 반의어를 검색할 확률을 최대화하도록 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 시뮬레이션된 임베딩 모델은 Google 번역과 같은 온라인 기계 번역기의 예측 행동을 CLPD에서 재현할 수 있는가?
• RQ2 실시간 번역(T+MA 모델)에 의존하는 베이스라인과 비교해 본다면, 제안된 모델의 CLPD 성능는 어떠한가?
• RQ3 번역된 텍스트에 반의어 치환이 적용되었을 때, 모델의 표절 탐지 능력은 어느 정도 유지되는가?
• RQ4 평행 코퍼스나 온라인 번역 API에 접근할 수 없어도 모델이 높은 탐지 정확도를 달성할 수 있는가?
• RQ5 다양한 언어 쌍에 걸쳐 다국어 환경에서 모델의 효과는 어떠한가?

주요 결과

• 제안된 모델은 표준 벤치마크 데이터셋에서 T+MA 베이스라인 모델보다 다국어 표절 탐지에서 뛰어난 성능을 보였다.
• 온라인 번역 서비스에 접근할 필요 없이도 CLPD에서 최신 기술 수준의 성능를 달성했다.
• 번역어와 반의어에 대해 복제된 임베딩를 사용함으로써 반의어 치환 상황에서도 탐지의 강건성이 크게 향상되었다.
• 다양한 언어 간에 우수한 일반화 능력을 보이며 다국어 기능을 확인했다.
• 시뮬레이션된 임베딩는 Google 번역의 번역 행동을 성공적으로 모방하여 API 호출 없이도 정확한 탐지를 가능하게 했다.
• 평가 결과, 번역된 내용이 다듬어지거나 반의어로 대체된 경우에도 모델이 높은 정밀도와 재현율을 유지하는 것으로 확인되었다.