[논문 리뷰] Rethinking Skip-thought: A Neighborhood based Approach

Shuai Tang, Hailin Jin외 3명|arXiv (Cornell University)|2017. 06. 09.

Topic Modeling참고 문헌 20인용 수 3

한 줄 요약

이 논문은 이웃 문장을 동시에 복원하기 위해 단일 공유 디코더를 사용하는 스위치스토리 모델의 이웃 기반 변종을 제안하며, 일곱 개의 NLP 과제에서 원본 스위치스토리 모델과 비교할 만한 성능을 달성한다. 놀랍게도, 입력 문장을 복원하기 위한 오토에코더 경로를 추가하면 성능이 떨어지지만, 단지 다음 문장만 디코딩하는 단방향 모델이 가장 우수한 성능을 보인다.

ABSTRACT

We study the skip-thought model with neighborhood information as weak supervision. More specifically, we propose a skip-thought neighbor model to consider the adjacent sentences as a neighborhood. We train our skip-thought neighbor model on a large corpus with continuous sentences, and then evaluate the trained model on 7 tasks, which include semantic relatedness, paraphrase detection, and classification benchmarks. Both quantitative comparison and qualitative investigation are conducted. We empirically show that, our skip-thought neighbor model performs as well as the skip-thought model on evaluation tasks. In addition, we found that, incorporating an autoencoder path in our model didn't aid our model to perform better, while it hurts the performance of the skip-thought model.

연구 동기 및 목표

• 이웃하는 문장들이 문장 표현 학습을 위한 충분한 지도 정보를 제공하는지 조사하기 위해
• 이전 문장과 다음 문장에 대해 두 개의 독립된 디코더를 사용하는 원본 스위치스토리 모델의 성능을 따라잡을 수 있는 단일 공유 디코더를 사용하는 것이 가능한지 평가하기 위해
• 입력 문장을 복원하는 오토에코더 경로를 추가했을 때 모델 성능에 미치는 영향을 검토하기 위해
• 단방향 모델이 다음 문장만 디코딩하는 것이 이중 방향 복원보다 우수한지 탐색하기 위해

제안 방법

• 스위치스토리 이웃 모델은 현재 문장의 인코딩 표현을 맥락으로 사용하여 단일 공유 디코더를 사용해 이전 문장과 다음 문장을 동시에 복원한다.
• 모델은 대규모 연속 텍스트 코퍼스에서 비지도 학습 방식으로 훈련되며, 양쪽 이웃 문장의 복원 손실을 최소화한다.
• 다양한 변종을 비교한다: 원본 스위치스토리(이중 디코더), 스위치스토리 이웃(이웃 문장에 대한 단일 디코더), 오토에코더 분기를 추가한 모델.
• 성능 평가를 위해 일곱 개의 하류 과제를 사용한다. 이는 의미 유사도, 동의어 탐지, 텍스트 분류를 포함한다.
• 질적 분석을 위해 문장 검색과 조건부 생성을 사용하며, 표현 공간에서의 의미적 유사도 측정에 코사인 유사도를 사용한다.

실험 결과

연구 질문

• RQ1 이웃하는 두 문장을 공유된 이웃 맥락으로 사용할 경우 효과적인 문장 표현 학습을 위한 충분한 지도 정보를 제공하는가?
• RQ2 이웃하는 문장에 대해 단일 공유 디코더를 사용하는 것이 원본 스위치스토리 모델의 두 개의 독립된 디코더와 동등한 성능을 달성할 수 있는가?
• RQ3 입력 문장을 복원하는 오토에코더 경로를 통합할 경우 모델 성능이 향상되거나 악화되는가?
• RQ4 다음 문장만 디코딩하는 단방향 모델이 이중 방향 복원보다 우수한가?

주요 결과

• 단일 디코더를 사용해 이웃하는 두 문장을 복원하는 스위치스토리 이웃 모델은 일곱 개의 평가 과제에서 원본 스위치스토리 모델과 동등한 성능을 보였다.
• 입력 문장을 복원하기 위한 오토에코더 경로를 추가한 모델은 성능 향상을 이룰 수 없었고 오히려 스위치스토리 모델의 성능을 떨어뜨렸다.
• 다음 문장만 디코딩하는 단방향 모델이 테스트된 모든 변종 중에서 가장 뛰어난 성능을 기록했다.
• 질적 분석 결과, 디코더는 문법적으로 올바르고 의미적으로 유의미한 문장을 생성하지만, 데이터셋 편향으로 인해 종종 'I was', 'I'm not', 또는 'I don't'로 시작하는 경향이 있다.
• 학습된 표현을 사용한 문장 검색 결과, 가장 가까운 이웃들은 의미적으로 관련이 있었으며, 이는 임베딩 공간에서 효과적인 의미 클러스터링이 이루어졌음을 시사한다.