[論文レビュー] Deconvolutional Paragraph Representation Learning

Yizhe Zhang, Dinghan Shen+4 more|arXiv (Cornell University)|Aug 16, 2017

Topic Modeling参考文献 30被引用数 65

ひとこと要約

この論文は、パラグラフ表現を学習するための純粋に畳み込みエンコーダとデコンボリューショナルデコーダを導入し、再帰デコーダなしでも長いシーケンスの再構成を効率化し、半教師ありの性能を強化します。

ABSTRACT

Learning latent representations from long text sequences is an important first step in many natural language processing applications. Recurrent Neural Networks (RNNs) have become a cornerstone for this challenging task. However, the quality of sentences during RNN-based decoding (reconstruction) decreases with the length of the text. We propose a sequence-to-sequence, purely convolutional and deconvolutional autoencoding framework that is free of the above issue, while also being computationally efficient. The proposed method is simple, easy to implement and can be leveraged as a building block for many applications. We show empirically that compared to RNNs, our framework is better at reconstructing and correcting long paragraphs. Quantitative evaluation on semi-supervised text classification and summarization tasks demonstrate the potential for better utilization of long unlabeled text data.

研究の動機と目的

• 長いテキスト列のための頑健なパラグラフ規模表現を学習する動機づけ。
• 入力テキストを再構成するための、多層デコンボリューションデコーダを備えたCNNエンコーダを提案する。
• RNNベースのデコーディングを排除することが露出バイアスを緩和し、長いパラグラフの再構成と効率を改善することを示す。
• 再構成を教師ありタスクと共同訓練することによる半教師付き学習の利点を示す。）

提案手法

• 単語埋め込みから固定次元の潜在ベクトル h を生成するために、多層CNNエンコーダを用いる。
• cosine類似度に基づく確率を用いて入力の単語埋め込みを再構成するために、多層デコンボリューションネットワークで h をデコードする。
• 最大尤度を用いた語レベルの自己符号化目的で訓練する（sum_t log p(w_hat^t = w^t))。
• アニーリングパラメータ alpha を用いて、再構成損失と教師あり損失を共同最適化することで、任意で半教師付き学習に拡張する。
• 効率と並列性の観点から、ストライドベースの畳み込み/デコンボリューションをプーリングベースの方法と比較する。
• 依存性モデリングと長距離構造の観点で、デコンボリューション型デコーダとRNNデコーダの違いについて議論する。

実験結果

リサーチクエスチョン

• RQ1 純粋に畳み込みエンコーダとデコンボリューショナルデコーダだけで長いパラグラフを正確に再構成できるか？
• RQ2 自己回帰デコーディングを排除することは露出バイアスを緩和し、長いシーケンス表現を改善するのに役立つか？
• RQ3 学習された表現はRNNベースの自己符号化器と比較して、半教師付き分類および要約タスクに利益をもたらすか？

主な発見

Model	BLEU	ROUGE-1	ROUGE-2
LSTM-LSTM [ 47 ]	24.1	57.1	30.2
Hier. LSTM-LSTM [ 47 ]	26.7	59.0	33.0
Hier. + att. LSTM-LSTM [ 47 ]	28.5	62.4	35.5
CNN-LSTM	18.3	56.6	28.2
CNN-DCNN	94.2	97.0	94.2

• CNN-DCNNはLSTMベースのデコーダと比較して長いパラグラフの再構成品質が優れている。
• 長さが増加してもCNN-DCNNの再構成性能は安定しており、LSTMベースのデコーダは劣化する。
• CNN-DCNNは標準GPUs上でRNNベースの自己符号化器よりはるかに高速な訓練と推論を提供する。
• デノイジングおよびスペル訂正タスクで、CNN-DCNNはLSTMベースのデコーダより低い誤り率と高速収束を達成する。
• CNN-DCNNを用いた半教師付き訓練の共同学習は、データセット全体で文書分類を改善し、arXivデータでの要約性能を高める。