[논문 리뷰] Generative Knowledge Transfer for Neural Language Models

Sungho Shin, Kyuyeon Hwang외 1명|arXiv (Cornell University)|2016. 08. 14.

Privacy-Preserving Technologies in Data참고 문헌 31인용 수 8

한 줄 요약

이 논문은 사용자 데이터를 직접 사용하지 않고 생성된 텍스트와 소프트 레이블을 통해 교사 네트워크에서 학생 네트워크로 지식을 전달하는 프라이버시 보장 방법인 생성 지식 전이(GKT)를 제안한다. 이 방법은 RNN 기반 언어 모델을 훈련시키는 데 효과적이며, 특히 사용자 고유의 표현 방식에 적응시키는 데 유용하며, 개인 정보를暴露하지 않도록 하여 강력한 프라이버시 보호를 실현한다. 특히 소프트 레이블의 앙상블 기반 집계를 통해 프라이버시를 강화한다.

ABSTRACT

In this paper, we propose a generative knowledge transfer technique that trains an RNN based language model (student network) using text and output probabilities generated from a previously trained RNN (teacher network). The text generation can be conducted by either the teacher or the student network. We can also improve the performance by taking the ensemble of soft labels obtained from multiple teacher networks. This method can be used for privacy conscious language model adaptation because no user data is directly used for training. Especially, when the soft labels of multiple devices are aggregated via a trusted third party, we can expect very strong privacy protection.

연구 동기 및 목표

• 사용자가 생성한 데이터를 사용해 언어 모델을 훈련시킬 때 발생하는 프라이버시 문제를 해결하기 위해, 특히 데이터 수집이 사용자 프라이버시 문제를 야기할 수 있는 모바일 또는 인터넷 연결 장치 환경에서의 문제를 다룬다.
• 사용자 데이터나 모델 파라미터에 직접 접근하지 않는 지식 전이 기법을 개발하여, 소유자 추론 또는 데이터 복원 공격의 위험을 줄인다.
• 새로운 또는 유행하는 표현과 같은 사용자 고유의 언어 패턴에 효과적으로 언어 모델을 적응시킬 수 있도록 하되, 소프트 레이블의 안전한 집계를 통해 사용자 프라이버시를 유지한다.
• 교사 주도(GKT)와 학생 주도(GKT)의 두 가지 변종을 탐색하며, 특히 분산된 텍스트 생성을 통해 더 강력한 프라이버시 보장을 제공하는 학생 주도 GKT를 강조한다.

제안 방법

• 기존에 훈련된 RNN 언어 모델(교사)이 텍스트 시퀀스와 해당하는 소프트 레이블 확률을 생성하는 교사-학생 훈련 프레임워크를 활용한다.
• 학생 네트워크는 원본 훈련 데이터나 모델 파라미터에 접근하지 않고, 생성된 텍스트와 교사의 소프트 레이블만을 사용해 훈련된다.
• TDGKT에서는 교사 네트워크가 훈련 텍스트를 생성하고, SDGKT에서는 학생 네트워크가 텍스트를 생성하지만 여전히 교사의 소프트 레이블에서 학습한다.
• 프라이버시를 강화하기 위해, 다수의 사용자 기기 언어 모델이 소프트 레이블을 생성하고, 신뢰할 수 있는 제3자가 이를 평균화하여 중심화된 메인 서버 언어 모델을 훈련하는 데 사용한다.
• 앙상블 소프트 레이블을 활용해 모델의 일반화 능력과 강건성을 향상시키며, 레이블 집계 과정에서 노이즈 주입을 통해 차별적 프라이버시를 달성한다.
• 다중 사이클 SDGKT는 교사가만이 알고 있는 OOV(훈련 데이터 외 단어)를 학생에게 전달할 수 있어, 변화하는 언어 트렌드에 대한 적응을 보장한다.

실험 결과

연구 질문

• RQ1 사용자 언어 모델의 프라이버시를 해치지 않고도 개인 정보를暴露하지 않고도 지식 전이를 달성할 수 있는가?
• RQ2 생성 지식 전이가 프라이버시를 보존하면서도 사용자 고유의 언어 패턴에 적응시키는 데 얼마나 효과적인가?
• RQ3 언어 모델 훈련에서 단일 교사의 소프트 레이블과 다수의 교사 앙상블의 소프트 레이블을 사용할 경우의 성능 상충 관계는 어떠한가?
• RQ4 학생 주도 GKT(SDGKT)가 교사 주도 GKT(TDGKT)보다 더 강력한 프라이버시 보장을 제공하면서도 유사한 모델 성능을 유지하는가?
• RQ5 GKT는 직접적인 데이터 접근 없이도 교사에서 학생 네트워크로 OOV 단어의 지식을 효과적으로 전달할 수 있는가?

주요 결과

• 100명의 사용자 기기에서 학습된 메인 서버 언어 모델은 전체 테스트 데이터에서 BPC 1.322를 기록했으며, 개별 사용자 모델의 평균 BPC 1.346를 초월했다.
• 개인 테스트 데이터의 BPC는 초기 사전 훈련 모델의 1.359에서 100대의 기기로 1.247로 향상되어 사용자 고유 언어에 대한 효과적인 적응을 보였다.
• SDGKT와 TDGKT는 거의 동일한 성능를 보였으며, SDGKT는 분산된 텍스트 생성 덕분에 더 강력한 프라이버시 보장을 제공했다.
• 다중 사이클 SDGKT를 통해 직접적인 훈련 데이터 접근 없이도 새로 생긴 단어나 유행어와 같은 OOV 단어를 성공적으로 학습하고 적응시켰다.
• 공개 테스트 데이터의 성능는 다소 악화되었으며(BPC 1.334 대비 초기 값 1.301), 희귀 공개 어휘의 일부 상실이 발생했지만, 개인 정보 적응을 위한 이는 미미한 상충이었다.
• 100대의 기기에서의 앙상블 소프트 레이블 집계로 앙상블 BPC가 1.321로 감소하여, 집단적 지식 전이가 프라이버시를 유지하면서도 모델 품질을 향상시킨다는 점을 입증했다.