[논문 리뷰] Adaptive Joint Learning of Compositional and Non-Compositional Phrase Embeddings

Kazuma Hashimoto, Yoshimasa Tsuruoka|arXiv (Cornell University)|2016. 03. 19.

Topic Modeling참고 문헌 31인용 수 8

한 줄 요약

이 논문은 학습 가능한 조합성 점수 함수를 사용하여 조합적이고 비조합적인 어구 임베딩을 통합하는 적응형 공동 학습 프레임워크를 제안한다. 이 방법은 어구별 조합성 수준에 따라 임베딩을 동적으로 가중함으로써, 인간 평가된 조합성 상관관계와 하류 작업 정확도 모두에서 이전 방법들을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

We present a novel method for jointly learning compositional and non-compositional phrase embeddings by adaptively weighting both types of embeddings using a compositionality scoring function. The scoring function is used to quantify the level of compositionality of each phrase, and the parameters of the function are jointly optimized with the objective for learning phrase embeddings. In experiments, we apply the adaptive joint learning method to the task of learning embeddings of transitive verb phrases, and show that the compositionality scores have strong correlation with human ratings for verb-object compositionality, substantially outperforming the previous state of the art. Moreover, our embeddings improve upon the previous best model on a transitive verb disambiguation task. We also show that a simple ensemble technique further improves the results for both tasks.

연구 동기 및 목표

• 어구 임베딩 학습에서 모든 어구를 완전히 조합적 또는 비조합적이라고 간주하는 데서 비롯하는 한계를 해결하기 위해.
• 비조합적 임베딩에서의 데이터 희소성과 조합적 학습에서 비조합적 어구로 인한 노이즈 문제를 극복하기 위해.
• 조합성 점수와 어구 임베딩을 함께 최적화하여 표현 학습을 향상시키기 위해.
• 학습된 조합성 수준에 기반해 조합적 및 비조합적 임베딩을 어구별로 민감하게 가중할 수 있도록 하기 위해.

제안 방법

• 모든 어구 p에 대해, 어구 임베딩 목표와 함께 공동 최적화되는 미분 가능한 점수 함수를 사용해 조합성 점수 α(p)를 계산한다.
• 어구 임베딩 v(p)는 가중 조합으로 구성된다: v(p) = α(p)c(p) + (1−α(p))n(p), 여기서 c(p)는 조합적 임베딩이고 n(p)는 비조합적 임베딩이다.
• 조합적 임베딩 c(p)는 덧셈 또는 RNN과 같은 조합 함수 f를 통해 단어 임베딩에서 유도된다.
• 비조합적 임베딩 n(p)는 각 어구별로 독립적으로 학습된 고유한 벡터로, 구성 요소 단어 의미에 의존하지 않는다.
• 조합성 점수 함수는 주 작업 목표와 함께 엔드 투 엔드로 훈련되어, 모델이 언제 조합적 표현과 비조합적 표현을 더 의존할지를 학습할 수 있도록 한다.
• 프레임워크는 전타동사어구 학습에 적용되며, 조합성 탐지 및 동사 해석 분류 작업에서 실험을 수행한다.

실험 결과

연구 질문

• RQ1 고정되거나 이진 조합성 가정을 사용하는 것과 비교해, 공동으로 학습된 조합성 점수는 어구 임베딩의 품질을 향상시키는가?
• RQ2 모델은 인간 평가된 점수와 비교해 동사어구의 조합성 수준을 얼마나 잘 탐지하는가?
• RQ3 조합적 및 비조합적 임베딩에 대한 적응형 가중치 부여가 동사 해석 분류와 같은 하류 NLP 작업에서 성능 향상에 기여하는가?
• RQ4 조합성 점수 함수는 관용어와 비관용어 양쪽 모두에 대해 일반화 가능한가?
• RQ5 앙상블 기법을 통해 모델 성능이 얼마나 향상되는가?

주요 결과

• 제안된 방법은 동사어구 조합성 탐지 작업에서 최신 기술 성능을 달성하였으며, 조합성 점수와 인간 평가 점수 간 강한 상관관계를 보였다.
• 모델은 전이 동사 해석 분류 작업에서 이전 최신 기술을 능가하여 일반화 능력 향상을 입증하였다.
• 모델이 학습한 조합성 점수는 어구 의미를 매우 예측 가능하게 반영하였으며, 저점수 어구(예: 'bear fruit')는 주로 비조합적임을 보였다.
• 근접 이웃 분석을 통해 적절한 시점에 구성 요소 단어 의미에 의존을 줄이며 관용어 의미를 효과적으로 포착함을 확인하였다.
• 간단한 앙상블 기법이 조합성 탐지 및 동사 해석 분류 작업 양쪽에서 성능을 추가로 향상시켰다.
• 비관용어구인 'buy car'(α=0.71)에는 높은 조합성 점수를 부여하여 조합적 성격을 반영하였고, 관용어구인 'take toll'(α≈0.2)에는 낮은 점수를 할당해 비조합적 표현을 우선시하였다.