[논문 리뷰] Decoding Decoders: Finding Optimal Representation Spaces for Unsupervised Similarity Tasks

В. К. Железняк, Dan Busbridge외 3명|arXiv (Cornell University)|2018. 02. 12.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 모델의 목적 함수에 의해 유도된 유사도 측정 기준 하에서 의미적으로 유사한 기호가 가까이 위치하는 최적의 표현 공간 개념을 도입한다. 이 공간에 맞추어 깊이 있는 순환 모델을 재학습 없이 정렬하는 간단한 절차를 제안하며, 이는 새로운 문장 임베딩 모델을 통해 다양한 실험에서 비지도 유사도 작업에서 얕은 모델과 동등하거나 그 이상의 성능을 내도록 한다.

ABSTRACT

Experimental evidence indicates that simple models outperform complex deep networks on many unsupervised similarity tasks. We provide a simple yet rigorous explanation for this behaviour by introducing the concept of an optimal representation space, in which semantically close symbols are mapped to representations that are close under a similarity measure induced by the model's objective function. In addition, we present a straightforward procedure that, without any retraining or architectural modifications, allows deep recurrent models to perform equally well (and sometimes better) when compared to shallow models. To validate our analysis, we conduct a set of consistent empirical evaluations and introduce several new sentence embedding models in the process. Even though this work is presented within the context of natural language processing, the insights are readily applicable to other domains that rely on distributed representations for transfer tasks.

연구 동기 및 목표

• 비지도 유사도 작업에서 복잡한 딥 네트워크보다 간단한 모델이 자주 더 뛰어난 성능을 내는 이유를 설명하는 것.
• 모델의 목적 함수와 정렬된 최적의 표현 공간 개념을 정의하고 수식적으로 명시하는 것.
• 재학습이나 아키텍처 변경 없이도 깊이 있는 순환 모델이 얕은 모델과 동등하거나 그 이상의 성능을 내도록 하는 방법을 개발하는 것.
• 다양한 문장 임베딩 모델을 대상으로 일관된 실험적 평가를 통해 제안된 프레임워크를 검증하는 것.

제안 방법

• 모델의 목적 함수에 의해 유도된 유사도 측정 기준 하에서 의미 유사성이 유지되는 최적의 표현 공간 개념을 도입하는 것.
• 모델의 목적 함수에서 직접 유도된 유사도 측정 기준을 정의하여 표현 학습을 이끄는 것.
• 목적 함수에 의해 유도된 메트릭을 사용하여 깊이 있는 모델의 표현을 최적의 공간으로 재매핑하는 절차를 제안하는 것.
• 아키텍처 변경 없이도 재학습 없이 깊이 있는 순환 모델에 대해 이 절차를 적용하여 최적의 공간과 정렬하는 것.
• 최근에 도입된 문장 임베딩 모델을 사용하여 비지도 유사도 벤치마크에서 성능을 평가하는 것.

실험 결과

연구 질문

• RQ1 깊이 있는 네트워크가 비지도 유사도 작업에서 성능을 냈음에도 불구하고, 왜 간단한 모델이 더 뛰어나게 되는가?
• RQ2 모델의 목적 함수와 정렬된 최적의 표현 공간은 무엇으로 정의되는가?
• RQ3 재학습이나 아키텍처 변경 없이 깊이 있는 모델을 얕은 모델과 동등하거나 더 뛰어난 성능을 내도록 만들 수 있는가?
• RQ4 표현을 최적의 공간으로 매핑하면 다양한 유사도 작업에서 성능에 어떤 영향을 미치는가?

주요 결과

• 간단한 모델이 깊이 있는 네트워크보다 비지도 유사도 작업에서 더 뛰어난 성능을 내는 이유는 목적 함수에 의해 정의된 최적의 표현 공간과의 정렬 때문이므로.
• 제안된 절차를 통해 재학습 없이도 깊이 있는 순환 모델이 비지도 유사도 작업에서 얕은 모델과 동등하거나 그 이상의 성능을 내도록 할 수 있다.
• 최적의 공간으로 표현을 매핑하는 것은 사전에 학습된 깊이 있는 모델을 사용할 때조차도 유사도 성능을 크게 향상시킨다.
• 이 프레임워크는 일반화 가능하며 자연어 처리를 넘어서 분포 표현을 활용하는 전이 작업이 필요한 모든 분야에 적용 가능하다.