[論文レビュー] Clustering Contextualized Representations of Text for Unsupervised Syntax Induction.

Vikram Gupta, Haoyue Shi+2 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 33被引用数 4

ひとこと要約

本稿では、文脈化されたテキスト埋め込みの上で、非教師あり構文誘導のための低次元でクラスターフrndlyな表現を共同で学習し、クラスタリングを実行する深層埋め込みクラスタリング手法を提案する。12タグの品詞誘導（10言語）で優れた性能を達成し、構文構造ラベル付け（CoLab）でも競争力のある結果を示し、文脈化された表現を用いて新たなベースラインを確立した。

ABSTRACT

We explore clustering of contextualized text representations for two unsupervised syntax induction tasks: part of speech induction (POSI) and constituency labelling (CoLab). We propose a deep embedded clustering approach which jointly transforms these representations into a lower dimension cluster friendly space and clusters them. We further enhance these representations by augmenting them with task-specific representations. We also explore the effectiveness of multilingual representations for different tasks and languages. With this work, we establish the first strong baselines for unsupervised syntax induction using contextualized text representations. We report competitive performance on 45-tag POSI, state-of-the-art performance on 12-tag POSI across 10 languages, and competitive results on CoLab.

研究の動機と目的

• 教師なし学習データを用いた構文誘導の課題に対処すること。
• 文脈化されたテキスト表現を用いて品詞誘導（POSI）と構文構造ラベル付け（CoLab）を改善すること。
• クラスタリング性能を向上させるために、表現学習とクラスタリングを統合したフレームワークを構築すること。
• 多言語の文脈化された表現が構文誘導タスクにどのように有効であるかを評価すること。
• 現代的な文脈化された埋め込みを用いて、非教師あり構文誘導のための強力なベースラインを確立すること。

提案手法

• 共有の潜在空間内で表現学習とクラスタリングを共同最適化する深層埋め込みクラスタリングフレームワークを提案する。
• 文脈化されたテキスト表現を、クラスタリングに適した低次元空間に変換する。
• クラスタリング品質の向上を図るために、タスク固有のコンponentsを表現に統合する。
• 多言語の文脈化された表現を用いて、構文誘導における言語間転送を検討する。
• 表現学習プロセスと同時に最適化可能なエンドツーエンド微分可能なクラスタリング目的関数を採用する。
• 潜在空間内のクラスタ分離を向上させるために、対照的学習または類似の正則化を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層埋め込みクラスタリングは、文脈化されたテキスト表現から、教師なしで構文的構造を効果的に誘導できるか？
• RQ2 タスク固有の表現は、構文誘導のためのクラスタリング性能をどのように向上させるか？
• RQ3 多言語の文脈化された表現は、非教師あり構文誘導において、どの程度言語を越えて一般化できるか？
• RQ4 提案手法は、複数の言語で12タグおよび45タグのPOSIベンチマークでどの程度の性能を示すか？
• RQ5 精度と頑健性の観点から、先行する非教師あり構文誘導手法と比較して、本手法はどのように差をつけるか？

主な発見

• 本手法は、文脈化された表現を用いて、10言語にわたる12タグ品詞誘導（POSI）で最先端の性能を達成した。
• 45タグ品詞誘導でも競争力のある結果を示し、本タスクの新たな強力なベースラインを確立した。
• 構文構造ラベル付け（CoLab）の性能も競争力があり、本手法の構文構造誘導への一般化能力を示している。
• タスク固有の表現の統合により、クラスタリング品質に顕著な向上が見られた。
• 多言語の表現は、言語間構文誘導において有効であり、言語間転送学習を支援している。
• 表現学習とクラスタリングの共同最適化により、分離されたかつ正確な構文クラスタが得られ、個別に最適化する手法よりも優れた結果を示した。