[논문 리뷰] Natural Language Multitasking - Analyzing and Improving Syntactic Saliency of Hidden Representations

Gino Brunner, Yuyi Wang외 2명|arXiv (Cornell University)|2018. 01. 01.

Topic Modeling인용 수 1

한 줄 요약

이 논문은 언어적 작업에서 다중태스크 오토인코더를 훈련시켜 숨겨진 문장 표현에서 문법적 중요도를 향상시키는 것을 제안한다. 번역 및 품사 태깅 디코더를 추가함으로써, 모델은 분리되고 문법적으로 의미 있는 표현을 학습하게 되며, 이는 문장 간에 의미 있는 보간과 벡터 산술 연산을 가능하게 한다.

ABSTRACT

We train multi-task autoencoders on linguistic tasks and analyze the learned hidden sentence representations. The representations change significantly when translation and part-of-speech decoders are added. The more decoders a model employs, the better it clusters sentences according to their syntactic similarity, as the representation space becomes less entangled. We explore the structure of the representation space by interpolating between sentences, which yields interesting pseudo-English sentences, many of which have recognizable syntactic structure. Lastly, we point out an interesting property of our models: The difference-vector between two sentences can be added to change a third sentence with similar features in a meaningful way.

연구 동기 및 목표

• 다중태스크 학습이 신경망 문장 표현에서 문법적 중요도를 어떻게 향상시키는지 조사하기 위해.
• 다양한 디코더(예: 번역 및 품사 태깅)를 추가함으로써 표현 공간의 구조가 어떻게 변화하는지 분석하기 위해.
• 학습된 표현이 문장 간 보간과 벡터 연산을 통해 의미 있는 변환을 지원하는지 평가하기 위해.
• 표현의 분리 정도가 문법적 유사성 클러스터링과 얼마나 관련이 있는지 이해하기 위해.

제안 방법

• 동일한 인코더와 다양한 언어적 작업을 위한 다수의 디코더를 가진 다중태스크 오토인코더를 훈련시켰다.
• 문장 재구성, 품사 태깅, 기계 번역을 디코더 헤드로 사용하였다.
• 문장 표현 간 보간을 적용하여 중간에 가짜 문장을 생성하였다.
• 두 문장 간의 차이 벡터를 더하여 제3의 문장을 수정하는 벡터 산술을 수행하였다.
• 문법적 유사성 기반 문장 클러스터링을 통해 표현 품질을 평가하였다.
• 생성된 보간 및 변환의 질적 분석을 통해 잠재 공간의 구조를 분석하였다.

실험 결과

연구 질문

• RQ1 다양한 디코더를 추가함으로써 학습된 문장 표현의 문법적 구조는 어떻게 영향을 받는가?
• RQ2 문장 표현 간 보간으로 생성된 표현이 문법적으로 타당한가?
• RQ3 두 문장 간의 차이 벡터를 제3의 문장에 의미 있게 적용할 수 있는가?
• RQ4 다중태스크 학습은 표현 공간의 엉키는 정도를 얼마나 줄이는가?
• RQ5 표현의 분리 정도와 문법적 유사성 클러스터링 간의 관계는 어떠한가?

주요 결과

• 번역 및 품사 태깅 디코더를 추가함으로써 은닉 표현에서 문법적 중요도가 크게 향상된다.
• 더 많은 디코더를 추가할수록 표현 공간이 덜 엉켜지고 문법적 유사성 기반으로 문장을 더 잘 클러스터링한다.
• 문장 표현 간 보간은 인식 가능한 문법적 구조를 가진 가짜 영어 문장을 생성한다.
• 두 문장 간의 차이 벡터를 제3의 문장에 더함으로써 의미 있고 맥락에 부합하는 수정을 생성할 수 있다.
• 모델의 표현은 문법적 및 의미적 일관성을 유지하는 벡터 산술을 지원한다.
• 학습된 표현은 개선된 분리도를 보이며, 더 해석 가능하고 구조적인 변환을 가능하게 한다.