[論文レビュー] Learning Generic Sentence Representations Using Convolutional Neural Networks

Zhe Gan, Yunchen Pu+4 more|arXiv (Cornell University)|Nov 23, 2016

Topic Modeling参考文献 52被引用数 16

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）を文エンコーダーとして、長短期記憶（LSTM）ネットワークをデコーダーとして用いる、CNN-LSTMエンコーダーデコーダーモデルを提案する。大規模なラベルなしテキストから汎用的な文表現を学習する。小説で訓練されたモデルは、微調整なしで複数の自然言語処理（NLP）タスクで最先端の性能を達成し、文の類似度や画像-文ランク付けのベンチマークにおいて、スキップ・スコップベクトルを上回っている。

ABSTRACT

We propose a new encoder-decoder approach to learn distributed sentence representations that are applicable to multiple purposes. The model is learned by using a convolutional neural network as an encoder to map an input sentence into a continuous vector, and using a long short-term memory recurrent neural network as a decoder. Several tasks are considered, including sentence reconstruction and future sentence prediction. Further, a hierarchical encoder-decoder model is proposed to encode a sentence to predict multiple future sentences. By training our models on a large collection of novels, we obtain a highly generic convolutional sentence encoder that performs well in practice. Experimental results on several benchmark datasets, and across a broad range of applications, demonstrate the superiority of the proposed model over competing methods.

研究の動機と目的

• タスク固有の微調整なしに、多様なNLPタスクに適用可能な汎用的な文表現モデルの開発。
• 各タスクごとに別々のモデルを訓練する非効率性を解消し、1つの再利用可能な文エンコーダーを学習すること。
• スキップ・スコップベクトルのようなRNNベースのアプローチと対比して、CNNを文エンコーダーとして用いる有効性の検証。
• 段階的なエンコーダーデコーダー構造を導入することで、長距離依存関係のモデリングを改善すること。
• 線形分類器を用いて、下流タスクにおける学習済み表現の一般化能力を評価すること。

提案手法

• 単語埋め込みの畳み込みおよびプーリング操作を用いて、CNNエンコーダーが入力文を固定長の連続ベクトルにマッピングする。
• LSTMデコーダーを用いて、元の文を再構築する（オートエンコーダー）、次の文を予測する（将来予測子）、または両方を統合的にデコードする（複合モデル）ことを行う。
• 文の再構築と将来の文の予測の両方にクロスエントロピー損失を用いたシーケンス・ツー・シーケンスの目的関数により、モデルをエンド・ツー・エンドで訓練する。
• 文を予測して複数の将来の文を生成する段階的CNN-LSTMモデルを導入し、段落レベルの依存関係をモデリングする。
• 下流タスクでの微調整時に固定された単語埋め込みを用い、文エンコーダーの再訓練を回避する。
• 訓練済みのCNNエンコーダーを、下流タスクにおける線形分類器の特徴抽出器として用い、さらなる適応なしにベンチマークデータセットに適用する。

実験結果

リサーチクエスチョン

• RQ1 CNNベースの文エンコーダーにLSTMデコーダーを組み合わせることで、多様なNLPタスクに一般化可能な汎用的な文表現を学習できるか？
• RQ2 文の類似度、並び替え検出、画像-文ランク付けタスクにおいて、提案されたCNN-LSTMモデルはスキップ・スコップベクトルと比較してどの程度の性能を示すか？
• RQ3 段階的なエンコーダーデコーダー構造により、より長いコンテキスト窓を導入することで、文間依存関係のモデリングが向上するか？
• RQ4 微調整なしに固定特徴抽出器として使用されたCNNエンコーダーは、下流タスクにおいて効果的に一般化できるか？
• RQ5 RNNではなくCNNを文エンコーダーとして用いることで、より判別力のある、あるいはより頑健な文表現が得られるか？

主な発見

• CNN-LSTMオートエンコーダーは、固定埋め込みを用いた場合、COCO画像-文ランク付けタスクでRecall@1スコア0.8284を達成し、同じ設定でスキップ・スコップモデルの0.8477を下回ったが、これは固定埋め込みを用いた場合の比較であり、実際には固定埋め込みを用いた場合にスコアが向上した。
• 段階的CNN-LSTMモデルは、COCOデータセットでRecall@1が0.8352、中央順位が1.0を達成し、最良のベースラインモデルと同等の性能を示した。
• SICK文の類似度ベンチマークでは、提案モデルがピアソン相関0.8533、スピアマンのrho 0.7891を達成し、Kirosら（2015）のcombine-skipモデルを上回った。
• 複合モデルは、MSRPデータセットにおける並び替え検出のF1スコア0.8434を達成し、タスクに依存しない手法の最良結果を上回った。
• 小説で訓練されたCNNエンコーダーは、微調整なしに8つのベンチマークで競争力ある、あるいは優れた結果を達成し、下流タスクへの一般化が有効に機能した。
• 下流評価時に固定された単語埋め込みが使用されたことで、学習可能な埋め込みよりも高い性能が得られた。これは、エンコーダーが頑健で、転送可能な特徴を捉えていることを示唆している。