[논문 리뷰] InvBERT: Text Reconstruction from Contextualized Embeddings used for Derived Text Formats of Literary Works

Johannes Höhmann, Achim Rettinger외 1명|arXiv (Cornell University)|2021. 09. 21.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 BERT 인코더와 임베딩이 함께 공개될 경우 InvBERT가 문맥 기반 BERT 임베딩에서 원본 저작권 보호 문학 텍스트를 재구성할 수 있음을 보여준다. 이 연구는 이러한 유형의 유도 텍스트 형식(DTF)이 저작권 위험을 초래할 수 있음을 드러내며, 재구성 정확도가 저작권법 위반 수준에 도달할 정도로 높다는 점을 시사한다.

ABSTRACT

Digital Humanities and Computational Literary Studies apply text mining methods to investigate literature. Such automated approaches enable quantitative studies on large corpora which would not be feasible by manual inspection alone. However, due to copyright restrictions, the availability of relevant digitized literary works is limited. Derived Text Formats (DTFs) have been proposed as a solution. Here, textual materials are transformed in such a way that copyright-critical features are removed, but that the use of certain analytical methods remains possible. Contextualized word embeddings produced by transformer-encoders (like BERT) are promising candidates for DTFs because they allow for state-of-the-art performance on various analytical tasks and, at first sight, do not disclose the original text. However, in this paper we demonstrate that under certain conditions the reconstruction of the original copyrighted text becomes feasible and its publication in the form of contextualized word representations is not safe. Our attempts to invert BERT suggest, that publishing parts of the encoder together with the contextualized embeddings is critical, since it allows to generate data to train a decoder with a reconstruction accuracy sufficient to violate copyright laws.

연구 동기 및 목표

• BERT의 문맥 기반 단어 임베딩이 원본 저작권 보호 문학 텍스트로 재구성될 수 있는지 조사하기.
• 특히 BERT 인코더와 임베딩이 공유될 경우 디지털 인문학 분야에서 유도 텍스트 형식(DTF)의 보안성을 평가하기.
• 원본 텍스트를 문맥 기반 임베딩에서 재구성할 수 있는 디코더 모델을 학습하는 것이 가능한지 평가하기.
• BERT 기반 DTF의 공개가 저작권법 위반에 해당하는 조건을 규명하기.

제안 방법

• 저자들은 원본 텍스트를 재구성하기 위해 BERT 인코더와 문맥 기반 임베딩을 사용해 디코더 모델을 학습한다.
• 문맥 기반 표현을 바탕으로 각 토큰 위치에서 후보 토큰을 생성하기 위해 역전환 기법을 적용한다.
• 예측된 토큰과 원본 토큰 간의 재구성 손실을 최소화하도록 디코더를 최적화한다.
• 이 방법은 역전환을 위해 BERT 인코더와 문맥 기반 임베딩이 모두 이용 가능한 데 의존한다.
• 자기회귀적 생성을 사용해 토큰을 순차적으로 예측함으로써 유창성과 통일성을 향상시킨다.
• 표준 NLP 메트릭(예: BLEU, 정확한 일치)을 사용해 재구성 품질을 평가한다.

실험 결과

연구 질문

• RQ1 BERT의 문맥 기반 임베딩에서 인코더도 함께 제공될 경우 원본 텍스트를 재구성할 수 있는가?
• RQ2 BERT 임베딩을 기반으로 훈련된 디코더를 사용할 때 도달할 수 있는 재구성 정확도는 어느 정도인가?
• RQ3 BERT 인코더와 임베딩을 공개할 경우 저작권법 위반에 해당하는 조건은 무엇인가?
• RQ4 문맥 기반 표현이 텍스트 재구성에 필요한 구조적 및 의미적 정보를 얼마나 잘 유지하는가?
• RQ5 BERT 기반 임베딩을 기반으로 한 DTF는 문학 코퍼스의 개인정보 보호 및 법적 준수에 어느 정도 영향을 미치는가?

주요 결과

• BERT 인코더 모델이 공개되어 있을 경우, BERT 임베딩에서 원본 문학 텍스트를 재구성하는 것은 가능하다.
• 달 đạt된 재구성 정확도는 의미적으로 유창하고 원본과 구조적으로 유사하므로 저작권법 위반 수준에 도달한다.
• BERT 인코더와 문맥 기반 임베딩을 공개하면 원본 텍스트의 내용과 형태를 그대로 반영하는 텍스트를 생성할 수 있는 디코더를 학습할 수 있다.
• 이 연구는 BERT 기반 임베딩을 기반으로 한 DTF가 저작권 보호 문학 작품을 공유하는 데 안전한 대안이 아니라는 것을 보여준다.
• 결과적으로, 조건이 충족되면 익명화된 임베딩조차도 역으로 전환될 수 있으며, 이는 디지털 인문학 분야에서의 데이터 프라이버시 가정에 도전한다.