[논문 리뷰] Fake Sentence Detection as a Training Task for Sentence Encoding

Viresh Ranjan, Hee Young Kwon외 2명|arXiv (Cornell University)|2018. 08. 11.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 문장 인코더의 새로운 비지도 학습 태스크로 가짜 문장 검출을 제안한다. 문장을 단어 뒤섞기 또는 단어 제거를 통해 손상시켜 가짜 변형문장을 생성하고, 모델은 진짜 문장과 가짜 문장 간을 구분하도록 학습한다. 이로써 스킵소ught(6400만 문장으로 학습)과 유사한 성능을 달성하면서도 단지 100만 문장으로 20시간 이내에 학습이 가능하다.

ABSTRACT

Sentence encoders are typically trained on language modeling tasks with large unlabeled datasets. While these encoders achieve state-of-the-art results on many sentence-level tasks, they are difficult to train with long training cycles. We introduce fake sentence detection as a new training task for learning sentence encoders. We automatically generate fake sentences by corrupting original sentences from a source collection and train the encoders to produce representations that are effective at detecting fake sentences. This binary classification task turns to be quite efficient for training sentence encoders. We compare a basic BiLSTM encoder trained on this task with a strong sentence encoding models (Skipthought and FastSent) trained on a language modeling task. We find that the BiLSTM trains much faster on fake sentence detection (20 hours instead of weeks) using smaller amounts of data (1M instead of 64M sentences). Further analysis shows the learned representations capture many syntactic and semantic properties expected from good sentence representations.

연구 동기 및 목표

• 언어 모델 기반 기존 비지도 문장 인코딩 방법의 장기적인 학습 시간과 높은 계산 비용 문제를 해결하기 위해.
• 작은 데이터와 더 빠른 수렴을 달성할 수 있는, 가짜 문장을 식별하는 분류 기반 이진 분류 태스크가 효과적인 문장 표현을 생성할 수 있는지 탐색하기 위해.
• 가짜 문장 검출이 대규모 언어 모델링으로 학습된 최신 모델들과 비교해 유사하거나 더 나은 수준의 문맥적 및 의미적 성질을 포착할 수 있는지 평가하기 위해.
• 다운스트림 문장 수준 작업에서 성능을 유지하거나 향상시키면서도 대규모 데이터셋과 장기적인 학습 주기 의존도를 줄이기 위해.

제안 방법

• 단어 뒤섞기(랜덤으로 두 단어를 교환) 및 단어 제거(랜덤으로 한 단어를 제거)의 두 가지 손상 기법을 적용해 가짜 문장을 생성한다.
• 각 예측 예시가 진짜 문장 또는 그로부터 파생된 손상된 문장(가짜)인 이진 분류 데이터셋을 구성한다.
• 인코딩된 표현 위에 3층 피드포워드 네트워크를 적용해 입력 문장이 진짜인지 가짜인지 예측하는 BiLSTM 기반 문장 인코더를 학습한다.
• 2048차원 은닉 상태를 가진 단일층 BiLSTM와 사전 학습된 300차원 GloVe 임베딩을 사용해 단어 표현을 확보한다.
• 배치 크기가 64인 SGD를 사용해 15에포크 동안 학습하며, 단일 GPU에서 20시간 이내에 수렴한다.
• 다운스트림 작업(예: NLI, 이미지-캡션 검색, 문맥적·의미적 성질 탐색 작업 등)에서 학습된 표현의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 작은 제어된 문장 변형(가짜 문장)을 탐지하는 이진 분류 태스크가 문장 인코더의 효과적인 비지도 사전 학습 목표로 기능할 수 있는가?
• RQ2 가짜 문장 검출로 학습된 BiLSTM의 성능은 스킵소ught 및 패스트센트와 같은 강력한 베이스라인 모델 대비 다운스트림 문장 수준 작업에서 어떻게 비교되는가?
• RQ3 가짜 문장 검출을 통해 학습된 표현이 문장의 문법적 및 의미적 성질을 어느 정도 잘 포착하는가?
• RQ4 6400만 문장으로 학습된 모델 대비 훨씬 적은 데이터(100만 문장)와 짧은 학습 시간(20시간)으로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 가짜 문장 검출로 학습된 BiLSTM 모델은 COCO 데이터셋의 7개 NLI 작업 중 5개와 이미지-캡션 검색 작업에서 스킵소ught(6400만 문장으로 학습)를 뛰어넘는 성능을 보였다.
• 가짜 문장 검출의 단어 뒤섞기 및 단어 제거 변형은 스킵소ught보다 10개의 탐색 작업 중 6개에서 더 높은 정확도를 기록했으며, 특히 단어 내용(WC), 이중어 뒤섞기(BShift), 의미적 이질성 탐지(SOMO) 작업에서 두드러진 성과를 보였다.
• 가짜 문장 학습 방법은 스킵소ught의 수주에 이르는 장기 학습을 단일 GPU에서 20시간 이내로 단축시켰으며, 6400만 문장 대신 100만 문장만을 사용했다.
• 트리 깊이(TreeDepth)와 같은 문법적 탐색 작업에서 가짜 문장 검출로 학습된 모델은 단어 뒤섞기 방식이 스킵소ught를 뚜렷이 앞서는 성능을 보였다.
• 가짜 문장 검출을 통해 학습된 표현은 의미적 및 문법적 변형에 더 민감하게 반응하며, 이중어 뒤섞기 및 의미적 이상 탐지 작업에서 더 높은 정확도로 성능을 보였다.
• 100만 문장의 소규모 데이터셋으로 학습된 가짜 문장 모델은 전체 BookCorpus 데이터셋으로 학습된 스킵소ught를 여러 평가 환경에서 뛰어넘었으며, 데이터 효율성과 강건성을 입증했다.