[論文レビュー] Abstractive Text Classification Using Sequence-to-convolution Neural Networks

Taehoon Kim, Jihoon Yang|arXiv (Cornell University)|May 20, 2018

Topic Modeling参考文献 35被引用数 11

ひとこと要約

本稿では、まずアテンションベースのRNNエンコーダデコーダブロックを用いて可変長テキストを要約し、その後その要約を畳み込みニューラルネットワークで分類する2段階のディーブラーニングモデルであるSequence-to-Convolution Neural Networks (Seq2CNN)を提案する。主な貢献は、エンドツーエンド学習を安定化させ、AG’s Newsデータセットで90.36%という最先端の精度を達成する、新たなトレーニング方式「段階的重みシフト（GWS）」の導入である。GWSを用いたモデルは、標準のTextCNNやGWSを用いないモデルを上回る性能を示した。

ABSTRACT

We propose a new deep neural network model and its training scheme for text classification. Our model Sequence-to-convolution Neural Networks(Seq2CNN) consists of two blocks: Sequential Block that summarizes input texts and Convolution Block that receives summary of input and classifies it to a label. Seq2CNN is trained end-to-end to classify various-length texts without preprocessing inputs into fixed length. We also present Gradual Weight Shift(GWS) method that stabilizes training. GWS is applied to our model's loss function. We compared our model with word-based TextCNN trained with different data preprocessing methods. We obtained significant improvement in classification accuracy over word-based TextCNN without any ensemble or data augmentation.

研究の動機と目的

• 系列長に依存するパラメータを持つ従来のTextCNNが、固定長入力が必要であるという制限を解消すること。
• パディングやクロッピングなどの前処理を施さずに、可変長テキストに対してエンドツーエンド学習が可能なテキスト分類モデルの実現。
• 長さが異なる入力からも重要な意味的コンテンツを保持する要約生成を活用することで、分類性能の向上。
• 要約と分類の二重目的を持つマルチタスクモデルのトレーニングを安定化させるための新規トレーニング方式の導入。
• RNNを用いた要約生成による抽象的要約が、テキストランクのような抽出的手法を上回る、下流のテキスト分類性能を向上させることの有効性の検証。

提案手法

• 入力テキストから顕著な内容を保持する要約を生成するために、アテンションベースのエンコーダデコーダRNN（順序ブロック）を用いる。
• 生成された要約を、TextCNNベースの分類ヘッド（畳み込みブロック）に供給し、テキストカテゴリを予測する。
• 両ブロック間で非静的単語埋め込み層を共有することで、パラメータ共有と共同最適化を実現する。
• 要約と分類の目的の損失重みを動的にバランスさせる、新規のトレーニング戦略「段階的重みシフト（GWS）」を実装する。
• GWSを実装する際、トレーニングステップに応じて要約の損失重みを段階的に低下させ、分類の損失重みを段階的に増加させる。
• 予測された要約トークンと正解トークンの単語レベル交差エントロピーに基づく汎用的な系列損失関数を適用し、将来的な改善のための代替損失関数への拡張を想定する。

実験結果

リサーチクエスチョン

• RQ1 固定長モデルと比較して、可変長入力において要約生成による分類性能の向上は可能か？
• RQ2 前処理なしにエンドツーエンドで学習可能な2段階モデル（要約と分類）は、標準のTextCNNを上回る性能を示すか？
• RQ3 動的損失重みバランスを有するマルチタスクトレーニング方式は、系列から分類への変換モデルのトレーニングを安定化させ、収束を改善できるか？
• RQ4 標準的なトレーニングと比較して、提案された段階的重みシフト（GWS）法は、損失の安定性と最終的な分類精度の両面で優れているか？
• RQ5 抽出的要約手法（例：TextRank）が機能しない短い入力テキストに対しても、モデルはどれほど頑健に機能するか？

主な発見

• GWSを用いてトレーニングしたSeq2CNNは、AG’s Newsデータセットで90.36%のテスト精度を達成し、GWSを用いない同じモデル（89.87%）や標準のバニラCNN（89.67%）を顕著に上回った。
• GWSを用いたモデルでは、トレーニング損失曲線が安定しており、合計損失と系列損失の両方が滑らかに収束した。一方、GWSを用いないモデルでは、2,000ステップ以降に系列損失が振動を示した。
• Seq2CNNは短いテキストに対しても頑健であり、TextRankが出力なしに失敗するような非常に短い入力に対しても、正常に要約を生成できた。
• アンサンブル手法やデータオーグメンテーションを用いずに、単語ベースのTextCNNを上回った。これは、要約生成とエンドツーエンド学習の有効性を示している。
• 要約生成ブロックは、長さが異なる入力からも重要なコンテンツを効果的に捉えており、入力長の前処理なしに高精度な分類が可能であることを実証した。
• 提案されたGWSトレーニング方式は汎用的であり、損失重みスケジューリングの調整により、他の系列および分類目的を持つマルチタスクモデルにも応用可能である。