[논문 리뷰] Second-Order Word Embeddings from Nearest Neighbor Topological Features

Denis Newman-Griffis, Eric Fosler‐Lussier|arXiv (Cornell University)|2017. 05. 23.

Topic Modeling참고 문헌 37인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 문맥 기반 단어 임베딩의 가장 가까운 이웃 기반 위상적 구조에서 유도된 2차 단어 임베딩을 제안한다. k-가장 가까운 이웃 그래프로부터 표현을 학습함으로써, 이 방법은 1차 임베딩의 대부분의 성능 이점을 확보한다 — 명명된 실체 인식, 텍스트 함의, 동의어 인식 작업에서 거의 동일한 성능을 달성한다 — 同시에 데이터 이질성에 대한 강건성을 향상시킨다. 특히 재현율 중심 작업에서 두드러진다.

ABSTRACT

We introduce second-order vector representations of words, induced from nearest neighborhood topological features in pre-trained contextual word embeddings. We then analyze the effects of using second-order embeddings as input features in two deep natural language processing models, for named entity recognition and recognizing textual entailment, as well as a linear model for paraphrase recognition. Surprisingly, we find that nearest neighbor information alone is sufficient to capture most of the performance benefits derived from using pre-trained word embeddings. Furthermore, second-order embeddings are able to handle highly heterogeneous data better than first-order representations, though at the cost of some specificity. Additionally, augmenting contextual embeddings with second-order information further improves model performance in some cases. Due to variance in the random initializations of word embeddings, utilizing nearest neighbor features from multiple first-order embedding samples can also contribute to downstream performance gains. Finally, we identify intriguing characteristics of second-order embedding spaces for further research, including much higher density and different semantic interpretations of cosine similarity.

연구 동기 및 목표

• 사전에 훈련된 단어 임베딩 공간 내의 위상적 구조 — 특히 가장 가까운 이웃 관계 — 가 의미 있는 단어 표현의 독립적 소스로 기능할 수 있는지 조사하는 것.
• 1차 문맥 기반 임베딩과 비교하여 2차 임베딩의 다운스트림 NLP 작업에서의 성능을 평가하는 것.
• 2차 표현이 데이터 이질성에 어떻게 대처하는지 분석하고, 병합했을 때 1차 임베딩와 보완되는지 여부를 평가하는 것.
• 특히 밀도와 코사인 유사도 해석 측면에서 1차 및 2차 임베딩 공간 간의 구조적·의미적 차이를 탐색하는 것.
• 여러 개의 1차 임베딩 샘플을 가장 가까운 이웃 위상으로 활용하여 분산을 줄이고 강건성을 향상시킬 수 있는지 평가하는 것.

제안 방법

• 코사인 유사도를 거리 척도로 사용하여 사전에 훈련된 문맥 기반 단어 임베딩에서 k-가장 가까운 이웃 그래프를 구축한다.
• 비지도 그래프 임베딩 기법을 적용하여 k-NN 그래프의 위상적 구조에 기반한 표현을 재학습함으로써 2차 임베딩를 생성한다.
• 수행된 2차 임베딩를 명명된 실체 인식, 텍스트 함의, 동의어 인식 작업의 딥 및 선형 모델의 입력 특징으로 사용한다.
• 1차 문맥 기반 임베딩에 2차 표현을 연결하여 증강하고, 선형 및 비선형 모델 모두에서 성능을 평가한다.
• 여러 개의 1차 임베딩 샘플에서 2차 임베딩를 생성하고, 이를 집계하여 랜덤 초기화에서 발생하는 분산을 줄인다.
• 1차 및 2차 공간에서 이웃의 밀도와 코사인 유사도 분포를 분석하여 의미적 구조와 희소성의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 단어 임베딩에서 가장 가까운 이웃 위상만으로도 1차 임베딩 성능에 근접하는 효과적인 2차 표현을 생성할 수 있는가?
• RQ2 특히 NER에서 MISC 엔티티와 같은 이질적 데이터에서 2차 임베딩가 1차 임베딩와 정밀도 및 재현율 측면에서 어떻게 비교되는가?
• RQ3 1차 및 2차 임베딩를 병합함으로써 성능 향상이 얼마나 이루어지며, 이는 모델 유형(선형 대 비선형)에 따라 달라지는가?
• RQ4 1차 및 2차 표현 간의 임베딩 공간의 밀도는 어떻게 다를지, 이는 의미 유사도 해석에 어떤 함의를 갖는가?
• RQ5 여러 개의 1차 임베딩 샘플에서 가장 가까운 이웃 기능을 집계하면 다운스트림 성능 향상과 분산 감소에 기여할 수 있는가?

주요 결과

• 2차 임베딩는 모든 3개의 다운스트림 작업에서 1차 문맥 기반 임베딩와 거의 동일한 성능을 달성하며, F1 점수에서 절대 차이가 1~2%p 이내이다.
• 2차 임베딩는 특히 NER에서 MISC 엔티티와 같은 이질적 데이터에서 재현율을 크게 향상시키지만, 정밀도는 종종 감소시켜 특이성 대 강건성 간의 트레이드오프를 보여준다.
• 2차 임베딩 공간은 1차 공간보다 상당히 더 조밀하다: 단어와 그 가장 가까운 이웃 간의 최소 유사도는 2차 공간에서 0.75, 1차 공간에서 0.24이다.
• 2차 공간에서는 상위 100개의 가장 가까운 이웃 유사도가 약 0.999에 집중되어 있어 극도로 높은 국소적 밀도를 나타내지만, 1차 공간의 유사도는 더 큰 변동성을 보인다.
• 1차 및 2차 임베딩를 병합하면 비선형 모델(예: 텍스트 함의 작업)에서 성능 향상을 이룬다. 그러나 선형 모델에서는 성능 저하를 초래하므로, 비선형 병합이 필요하다는 것을 시사한다.
• 여러 개의 1차 임베딩 샘플에서 가장 가까운 이웃 기능을 활용하면 다운스트림 성능 향상이 이루어지며, 이는 2차 표현이 랜덤 초기화에서 발생하는 분산을 줄일 수 있음을 시사한다.