[論文レビュー] An efficient framework for learning sentence representations

Lajanugen Logeswaran, Honglak Lee|arXiv (Cornell University)|Mar 7, 2018

Topic Modeling参考文献 33被引用数 300

ひとこと要約

この論文は QT を紹介する。非ラベル付きテキストからの文埋め込みを学習するための識別的で効率的な枠組みで、教師なしの性能で最先端を達成し、トレーニング速度を大幅に向上させる。

ABSTRACT

In this work we propose a simple and efficient framework for learning sentence representations from unlabelled data. Drawing inspiration from the distributional hypothesis and recent work on learning sentence representations, we reformulate the problem of predicting the context in which a sentence appears as a classification problem. Given a sentence and its context, a classifier distinguishes context sentences from other contrastive sentences based on their vector representations. This allows us to efficiently learn different types of encoding functions, and we show that the model learns high-quality sentence representations. We demonstrate that our sentence representations outperform state-of-the-art unsupervised and supervised representation learning methods on several downstream NLP tasks that involve understanding sentence semantics while achieving an order of magnitude speedup in training time.

研究の動機と目的

• ラベル付きデータなしで高品質な文表現を学習する動機付け。
• 候補の中から正しい文脈文を識別する識別的目的を提案する。
• 大規模コーパスにスケールするために柔軟なエンコーダアーキテクチャと効率的な訓練を可能にする。
• 学習された埋め込みが意味的NLPタスクの性能を向上させることを示す。
• 事前学習済みエンコーダを提供し、従来法と競争力のある、またはそれを上回る性能を実証する。

提案手法

• f および g によって生成される文埋め込みを介して意味を表現する。
• 候補の中から正しい文脈文を選択する識別的目的に生成を置き換える。
• スコアリング関数 c(u,v) を使用する。実際には c は内積 u^T v である。
• 候補文脈に対してクロスエントロピ Loss で訓練する（正解はネガティブよりももっと妥当である）。
• テスト時には f(s) と g(s) を連結して文の表現とする。
• GRUベースのRNNエンコーダを用いた実験を行い、BookCorpus と UMBC データで訓練し、MC-QT には事前学習済み語ベクトルを使用する。

実験結果

リサーチクエスチョン

• RQ1 識別的な文脈予測目的で、ラベルなしデータから高品質な文埋め込みを生成できるか？
• RQ2 異なるエンコーダアーキテクチャ（単方向/双方向 GRU、CNN バリアント、マルチチャネル入力）が性能に与える影響は？
• RQ3 生成ベースの文モデルと比較して、訓練効率と下流タスクの精度でどのような利得が得られるか？
• RQ4 事前学習済み語ベクトルと大規模コーパスは、効率を犠牲にすることなく表現をさらに改善するか？
• RQ5 学習された表現は、意味的タスクにおいて監視付きおよび他の教師なし法とどのように比較されるか？

主な発見

• QT の4系統（uni-/bi-/combine-/multi-channel）は、下流の意味タスクで最先端の教師なし結果に競合する性能を達成。
• 事前学習済み GloVe 埋め込みを用いた MultiChannel-QT (MC-QT) は高い性能を示し、いくつかの従来法を上回る。
• 本フレームワークは、従来のエンコーダ-デコーダ型アプローチより桁違いに高速に学習でき、精度を維持または向上させる。
• BookCorpus+UMBC を統合したデータで多くのタスクで厳密な改善が見られ、大規模コーパスへのスケーラビリティを示す。
• 多様な QT モデルのアンサンブルはほぼ監視付きの性能を達成し、特定のタスクではタスク固有の教師ありベースラインを時に上回る。
• このアプローチは大規模な教師なし文表現学習に適した、効率的で柔軟なエンコーダを提供する。