[論文レビュー] Efficient Character-level Document Classification by Combining Convolution and Recurrent Layers

Yijun Xiao, Kyunghyun Cho|arXiv (Cornell University)|Feb 1, 2016

Topic Modeling参考文献 15被引用数 171

ひとこと要約

論文は、 character embeddings 上にいくつかの畳み込み層を積み、双方向リカレント層を追加して長距離依存性を効率的に捉え、純粋な畳み込みモデルよりはるかに少ないパラメータで競争力のある精度を達成するハイブリッド ConvRec モデルを紹介します。

ABSTRACT

Document classification tasks were primarily tackled at word level. Recent research that works with character-level inputs shows several benefits over word-level approaches such as natural incorporation of morphemes and better handling of rare words. We propose a neural network architecture that utilizes both convolution and recurrent layers to efficiently encode character inputs. We validate the proposed model on eight large scale document classification tasks and compare with character-level convolution-only models. It achieves comparable performances with much less parameters.

研究の動機と目的

• モーリズム、希少語、語彙外トークンを扱えるように文字レベルの文書分類を動機づける。
• パラメータ数を削減しつつ長距離依存性を捉えるハイブリッドアーキテクチャを提案する。
• ConvRec モデルが大規模データセットで畳み込みのみの性能と同等以上を示すことを示す。
• モデルの深さ、訓練サイズ、クラス数が性能に与える影響を分析する。

提案手法

• ドキュメントを1-hot入力として文字列の列として表現し、密なベクトルに埋め込む。
• 局所的で平行移動不変な特徴を学習するために複数の畳み込み層を適用し、シーケンス長を縮小するプーリングを行う。
• 畳み込み特徴量の上に1つの双方向リカレント層（LSTM）を用いて長距離依存性を捉える。
• 前向きと後向きリカレント層の最後の状態を連結し、ソフトマックス分類器に供給する。
• AdaDelta を用いた正則化クロスエントロピーで学習し、最後の畳み込み層とリカレント層の後にドロップアウトを適用する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み-リカレントのハイブリッドアーキテクチャは、パラメータ数を大幅に減らしつつ、より深い畳み込みネットワークに匹敵する精度を達成できるか？
• RQ2 ConvRec モデルは、クラス数と訓練サイズがさまざまな大規模テキスト分類タスクでどのように性能を示すか？
• RQ3 性能に対する畳み込み層の数と畳み込みフィルタのサイズの影響はどうなるか？
• RQ4 クラス数が増える、あるいはデータサイズが減少する場合でも ConvRec の利点は維持されるか？

主な発見

• 8つの大規模データセットで、ConvRec はデータ拡張を用いた最良の文字レベル畳み込みモデルと同等またはそれ以上の誤差率を、はるかに少ないパラメータで達成した。
• ConvRec はクラス数が増加する場合（例：DBPedia の14クラスなど）に、畳み込みのみのモデルを上回ることが多かった。
• モデルは中程度の畳み込み深さ（2〜3層）でより良い性能を示す傾向があり、長距離依存性を捉えるためのリカレント層が有効である。
• より大きな畳み込み幅は一部のデータセットで改善をもたらしたが、パラメータ増加に対する限界が見られた。
• 2〜3層の畳み込みスタックと双方向 LSTM の組み合わせは、性能と効率のバランスを有効に提供する。