[논문 리뷰] Clustering Contextualized Representations of Text for Unsupervised Syntax Induction.

Vikram Gupta, Haoyue Shi외 2명|arXiv (Cornell University)|2020. 10. 24.

Topic Modeling참고 문헌 33인용 수 4

한 줄 요약

이 논문은 비정형 텍스트 임베딩에서의 비지도 구문 유도를 위해 저차원의 군집 친화적 표현을 동시에 학습하고 군집화를 수행하는 딥 임bedded 클러스터링 방법을 제안한다. 12-태그, 10개 언어에서 품사 유도(task)에서 뛰어난 성능을 달성하였고, 구성 구문 레이블링(task)에서도 경쟁력 있는 결과를 내며, 현대적 컨텍스트 기반 표현을 사용하여 새로운 베이스라인을 수립하였다.

ABSTRACT

We explore clustering of contextualized text representations for two unsupervised syntax induction tasks: part of speech induction (POSI) and constituency labelling (CoLab). We propose a deep embedded clustering approach which jointly transforms these representations into a lower dimension cluster friendly space and clusters them. We further enhance these representations by augmenting them with task-specific representations. We also explore the effectiveness of multilingual representations for different tasks and languages. With this work, we establish the first strong baselines for unsupervised syntax induction using contextualized text representations. We report competitive performance on 45-tag POSI, state-of-the-art performance on 12-tag POSI across 10 languages, and competitive results on CoLab.

연구 동기 및 목표

• 정답 훈련 데이터 없이 비지도 구문 유도 과제를 해결하고자 한다.
• 컨텍스트 기반 텍스트 표현을 활용하여 품사 유도(POSI) 및 구성 레이블링(CoLab)을 향상시키고자 한다.
• 표현 학습과 군집화를 통합한 프레임워크를 개발하여 군집화 성능을 향상시키고자 한다.
• 다국어 컨텍스트 기반 표현이 구문 유도 과제에 효과적으로 기여하는지 평가하고자 한다.
• 현대적 컨텍스트 기반 임베딩을 사용하여 비지도 구문 유도에 대해 강력한 베이스라인을 수립하고자 한다.

제안 방법

• 공유된 잠재 공간에서 표현 학습과 군집화를 동시에 최적화하는 딥 임베디드 클러스터링 프레임워크를 제안한다.
• 컨텍스트 기반 텍스트 표현을 군집화에 더 적합한 저차원 공간으로 변환한다.
• 군집화 품질 향상을 위해 작업에 특화된 구성 요소로 표현을 향상시킨다.
• 다국어 컨텍스트 기반 표현을 활용하여 구문 유도 과제에서 다국어 간 전이 학습을 탐색한다.
• 표현 학습 과정과 함께 공동 최적화되는 엔드 투 엔드 미분 가능한 군집화 목적함수를 사용한다.
• 잠재 공간 내 군집 간 분리도 향상을 위해 대비 학습 또는 유사한 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 딥 임베디드 클러스터링은 컨텍스트 기반 텍스트 표현에서 비지도 방식으로 구문적 구조를 효과적으로 유도할 수 있는가?
• RQ2 작업에 특화된 표현은 구문 유도를 위한 군집화 성능에 어떻게 기여하는가?
• RQ3 다국어 컨텍스트 기반 표현은 비지도 구문 유도 과제에서 얼마나 다양한 언어 간 일반화가 가능한가?
• RQ4 제안된 방법은 여러 언어에서 12-태그 및 45-태그 POSI 벤치마크에서 어떤 성능을 보이는가?
• RQ5 정확도와 내구성 측면에서 이전의 비지도 구문 유도 접근법과 비교해 볼 때, 이 방법은 어떻게 성능을 내는가?

주요 결과

• 컨텍스트 기반 표현을 사용하여 10개 언어에서 12-태그 품사 유도에서 최고 성능을 달성하였다.
• 45-태그 품사 유도 과제도 경쟁력 있는 결과를 내며, 이 작업에 대해 새로운 강력한 베이스라인을 설정하였다.
• 구성 레이블링(CoLab) 성능이 경쟁력 있어, 이 방법이 구문적 구조 유도에 일반화됨을 보여주었다.
• 작업에 특화된 표현의 통합은 군집화 품질 향상에 명백한 기여를 하였다.
• 다국어 표현은 다국어 간 구문 유도에 효과적이며, 언어 간 전이 학습을 지원함을 입증하였다.
• 표현 학습과 군집화를 함께 최적화함으로써 별도의 접근 방식보다 더 일관되고 정확한 구문 군집을 도출하였다.