[論文レビュー] Rethinking Skip-thought: A Neighborhood based Approach

Shuai Tang, Hailin Jin+3 more|arXiv (Cornell University)|Jun 9, 2017

Topic Modeling参考文献 20被引用数 3

ひとこと要約

本稿では、隣接する文を1つの共有デコーダーで同時に再構築する、スキップ・スコップモデルの近隣ベースの変種を提案する。このモデルは、7つの自然言語処理タスクにおいて、元のスキップ・スコップモデルと同等の性能を達成する。驚くべきことに、入力文を再構築するオートエンコーダー経路を追加すると性能が低下するが、次の文のみをデコードする単方向モデルが、最も優れた結果をもたらす。

ABSTRACT

We study the skip-thought model with neighborhood information as weak supervision. More specifically, we propose a skip-thought neighbor model to consider the adjacent sentences as a neighborhood. We train our skip-thought neighbor model on a large corpus with continuous sentences, and then evaluate the trained model on 7 tasks, which include semantic relatedness, paraphrase detection, and classification benchmarks. Both quantitative comparison and qualitative investigation are conducted. We empirically show that, our skip-thought neighbor model performs as well as the skip-thought model on evaluation tasks. In addition, we found that, incorporating an autoencoder path in our model didn't aid our model to perform better, while it hurts the performance of the skip-thought model.

研究の動機と目的

• 隣接する文を近隣として用いることで、文の表現学習に十分な監視信号が得られるかを調査すること。
• 前の文と次の文の両方を1つの共有デコーダーで再構築する方法が、元のスキップ・スコップモデルの2つの独立デコーダーと同等の性能を達成できるかを評価すること。
• 入力文を再構築するオートエンコーダー経路を追加した場合のモデル性能への影響を検討すること。
• 次の文のみをデコードする単方向モデルが、双方向再構築よりも優れているかを調査すること。

提案手法

• スキーップ・スコップ・ネイバー・モデルは、現在の文の符号化表現を文脈として用い、1つの共有デコーダーで前の文と次の文を同時に再構築する。
• モデルは、大規模な連続テキストコーパス上で教師なしで学習され、両方の隣接文の再構築損失を最小化するように訓練される。
• 比較対象として、元のスキーップ・スコップ（2つのデコーダー）、スキーップ・スコップ・ネイバー（近隣文のための1つのデコーダー）、およびオートエンコーダー分岐を追加したモデルのバリエーションを検討する。
• 性能評価は、意味的類似度、同義文検出、テキスト分類を含む7つの下流タスクで実施される。
• 定性的分析には、文の検索と条件付き生成が用いられ、表現空間における意味的類似度はコサイン類似度で測定される。

実験結果

リサーチクエスチョン

• RQ1 隣接する2つの文を共有の近隣として用いることで、効果的な文の表現学習に十分な監視信号が得られるか？
• RQ2 近隣の文を1つの共有デコーダーで再構築する方法が、元のスキーップ・スコップモデルの2つの独立デコーダーと同等の性能を達成できるか？
• RQ3 入力文を再構築するオートエンコーダー経路を組み込むことで、モデル性能が向上するか、悪化するか？
• RQ4 次の文のみをデコードする単方向モデルが、双方向再構築よりも優れているか？

主な発見

• 1つのデコーダーで前の文と次の文を再構築するスキーップ・スコップ・ネイバー・モデルは、7つの評価タスクすべてで、元のスキーップ・スコップモデルと同等の性能を示した。
• 入力文を再構築するオートエンコーダー経路を追加したモデルは、性能の向上をもたらさず、むしろスキーップ・スコップモデルの性能を低下させた。
• 次の文のみをデコードする単方向モデルが、テストしたすべてのバリエーションの中で最も優れた性能を達成した。
• 定性的分析の結果、デコーダーは文法的に正しいかつ意味的に意味のある文を生成しているが、データセットのバイアスのため、「I was」、「I'm not」、または「I don't」で始まる文が多く生成される傾向がある。
• 学習済み表現を用いた文の検索では、最近傍が意味的に関連していることが確認され、埋め込み空間における効果的な意味的クラスタリングが実現していることが示された。