[논문 리뷰] Learning Compressed Sentence Representations for On-Device Text Processing

Dinghan Shen, Pengyu Cheng외 6명|arXiv (Cornell University)|2019. 06. 19.

Topic Modeling참고 문헌 39인용 수 10

한 줄 요약

이 논문은 이식형 NLP를 위한 사전 훈련된 연속 문장 임베딩을 이진화하기 위한 네 가지 전략을 제안한다. 이로 인해 메모리 사용량이 98% 이상 감소하면서도 연속형 임베딩과 거의 동일한 성능(약 2% 상대적 성능 저하)을 달성한다. 최고의 방법은 의미 보존 손실을 갖춘 정규화된 오토에인코더를 사용하며, 이는 해밍 거리 기반 유사도 검색을 빠르게 가능하게 하여 코사인 유사도 계산보다 12배 이상 빠르다.

ABSTRACT

Vector representations of sentences, trained on massive text corpora, are widely used as generic sentence embeddings across a variety of NLP problems. The learned representations are generally assumed to be continuous and real-valued, giving rise to a large memory footprint and slow retrieval speed, which hinders their applicability to low-resource (memory and computation) platforms, such as mobile devices. In this paper, we propose four different strategies to transform continuous and generic sentence embeddings into a binarized form, while preserving their rich semantic information. The introduced methods are evaluated across a wide range of downstream tasks, where the binarized sentence embeddings are demonstrated to degrade performance by only about 2% relative to their continuous counterparts, while reducing the storage requirement by over 98%. Moreover, with the learned binary representations, the semantic relatedness of two sentences can be evaluated by simply calculating their Hamming distance, which is more computational efficient compared with the inner product operation between continuous embeddings. Detailed analysis and case study further validate the effectiveness of proposed methods.

연구 동기 및 목표

• 모바일폰과 같은 저자원 장치에서 연속적 실수형 문장 임베딩의 높은 메모리 및 계산 비용 문제를 해결하기 위해.
• 일반적인 문장 임베딩을 압축된 이진 표현으로 변환함으로써 효율적인 현장 내 텍스트 처리를 가능하게 하기 위해.
• 이진화된 임베딩에서 의미적 풍부성을 유지하여 후속 NLP 작업에서 효과적으로 활용될 수 있도록 하기 위해.
• 이진 코드 간 해밍 거리가 의미 유사도 평가에 있어 코사인 유사도의 효과적이고 더 빠른 대체 수 Mitt이 될 수 있음을 입증하기 위해.
• 유연한 배포를 위한 훈련 가능한 및 비훈련 가능한 방법을 포함한 다양한 이진화 전략을 탐색하기 위해.

제안 방법

• 하드 임계값 설정, 랜덤 프로젝션, PCA 기반 변환, 그리고 의미 보존 손실을 갖춘 훈련 가능한 정규화된 오토에인코더를 포함한 네 가지 이진화 전략을 제안한다.
• 재구성 손실과 추가적인 의미 보존 손실 항목을 갖춘 오토에인코더 아키텍처를 사용하여 이진 코드 내 의미적 구조를 유지한다.
• 의미 보존 손실은 긍정 쌍 간의 해밍 거리를 최소화함으로써 유사한 문장이 유사한 이진 코드를 갖도록 유도한다.
• 이진화에 대해 결정적 임계값 전략을 사용하며, 이는 실험적 평가에서 확률적 샘플링보다 우수한 성능을 보였다.
• 유사도 평가에 대해 이진 표현을 해밍 거리로 평가하며, 이는 연속 벡터의 내적 연산보다 계산적으로 더 효율적이다.
• 문장 매칭 및 분류와 같은 다양한 후속 NLP 작업에서 성능을 평가하기 위해 SentEval 툴킷을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 후속 NLP 벤치마크에서 의미적 유용성을 유지하면서 연속 문장 임베딩을 효과적으로 이진화할 수 있는가?
• RQ2 다양한 NLP 벤치마크에서 이진 임베딩의 성능은 연속 임베딩과 비교해 어떻게 되는가?
• RQ3 이진 코드 간 해밍 거리는 의미 유사도 계산에 있어 코사인 유사도의 효과적이고 더 빠른 대체 수 Mitt이 될 수 있는가?
• RQ4 특히 훈련 가능한 방법과 비훈련 가능한 방법 간의 이진화 전략의 선택이 임베딩 품질과 메모리 효율성에 어떤 영향을 미치는가?
• RQ5 학습된 이진 표현은 임베딩 차원의 선택에 얼마나 민감한가?

주요 결과

• 의미 보존 손실을 갖춘 제안된 정규화된 오토에인코더는 여러 후속 NLP 작업에서 연속 임베딩과 비교해 약 2% 상대적 성능 저하만을 보였다.
• 이진 표현은 원본 연속 임베딩의 메모리 사용량을 1.5%로 줄여 98% 이상의 저장 공간 절감을 달성했다.
• 이진 코드 간 해밍 거리 계산은 연속 벡터의 코사인 유사도 계산보다 12배 이상 빠르며, 측정된 속도 향상은 12.7배(3.67μs 대 288ns)였다.
• 가장 우수한 성능을 보인 모델인 AE-binary-SP는 MR 데이터셋에서 의미 보존 손실 가중치 λsp = 0.8일 때 최적 성능을 달성했다.
• 랜덤 프로젝션과 PCA 기반 이진화는 512비트일 때도 경쟁 가능한 성능을 보였으며, 저메모리 환경에 적합하다.
• 이진 코드를 사용한 근접 이웃 검색은 의미적으로 유사한 문장을 성공적으로 검색했으며, 결과는 종종 연속 임베딩보다 더 일관성 있는 경향을 보였다.