[論文レビュー] Comparative Study of CNN and RNN for Natural Language Processing

Wenpeng Yin, Katharina Kann+2 more|arXiv (Cornell University)|Feb 7, 2017

Topic Modeling参考文献 20被引用数 894

ひとこと要約

本論文は CNN、GRU、および LSTM をさまざまな NLP タスクで系統的に比較し、RNNs がしばしば系列理解において優れている一方、CNNs は特定の局所的キーフレーズタスクで優位になる可能性があることを示しています。また、hidden size や batch size といったハイパーパラメータが性能に大きく影響します。

ABSTRACT

Deep neural networks (DNN) have revolutionized the field of natural language processing (NLP). Convolutional neural network (CNN) and recurrent neural network (RNN), the two main types of DNN architectures, are widely explored to handle various NLP tasks. CNN is supposed to be good at extracting position-invariant features and RNN at modeling units in sequence. The state of the art on many NLP tasks often switches due to the battle between CNNs and RNNs. This work is the first systematic comparison of CNN and RNN on a wide range of representative NLP tasks, aiming to give basic guidance for DNN selection.

研究の動機と目的

• CNN、GRU、LSTM の相対的な強みを幅広い NLP タスクで評価する。
• CNN が文の局所的情報を捉える能力と RNN が全体的・長距離情報を捉える能力のバランスを調査する。
• NLP におけるタスク特性に基づく DNN 選択の指針を提供する。

提案手法

• 基本的なゼロからのセットアップ（事前学習済み埋め込みなし）で CNN、GRU、LSTM を実装する。
• 公正な比較を確保するため、タスクごと・モデルごとに dev データでハイパーパラメータを調整する。
• 感情分類、関係分類、文本の含意、回答選択、質問-関係マッチング、パス問合せ応答、POS タギングなどのタスクで評価する。
• GRU/LSTM には一方向からの左→右のエンコードを用い、POS タギングでは双方向 RNN を評価する。
• CNN では word embeddings に対する畳み込み層と max-pooling を用いて固定長の表現を生成する。

実験結果

リサーチクエスチョン

• RQ1 CNN と RNN はテキスト分類タスクで補完的な情報を提供するのか。
• RQ2 全体の系列理解の重要性が CNN と RNN の性能にどう影響するのか。
• RQ3 学習率、hidden size、batch size などのハイパーパラメータに対する CNN および RNN の感度はどの程度か。
• RQ4 長距離依存性と局所的キーフレーズの手掛かりを異なる NLP タスクでどの程度処理できるのか。

主な発見

• CNNs と RNNs はテキスト分類タスクで補完的な情報を提供する。
• グローバルな系列理解がタスクで重要かどうかで性能が左右される。
• RNN の性能は一般的にタスクを問わず堅牢で競争力があるが、CNN が優れる場合がある局所的キーフレーズ依存の設定もある。
• 学習率の変化は性能に滑らかに影響する一方、hidden size と batch size はより大きな変動を引き起こす。
• Bi-directional RNN は one-directional バリアントより POS タギングを改善できる。