[論文レビュー] RoBERTa-wwm-ext Fine-Tuning for Chinese Text Classification

Xu Zhuo|arXiv (Cornell University)|Feb 24, 2021

Topic Modeling参考文献 4被引用数 11

ひとこと要約

本稿では、中国語の法的行動（違法／合法）分類のため、RoBERTa-wwm-extを微調整し、CNN、RNN、RCNN、DPCNNの4種類の異なるニューラルネットワークヘッドを適用した。構造の複雑化にもかかわらず、6,755件の裁判録から抽出されたデータセットにおいて、すべての提案モデルはベースラインのRoBERTa-wwm-extより精度および学習効率が劣っている。

ABSTRACT

Bidirectional Encoder Representations from Transformers (BERT) have shown to be a promising way to dramatically improve the performance across various Natural Language Processing tasks [Devlin et al., 2019]. Meanwhile, progress made over the past few years by various Neural Net-work has also proved the effectiveness of Neural Network in the field of Natural Language Processing. In this project, RoBERTa-wwm-ext [Cui et al., 2019] pre-train language model was adopted and fine-tuned for Chinese text classification. The models were able to classify Chinese texts into two categories, containing descriptions of legal behavior and descriptions of illegal behavior. Four different models are also proposed in the paper. Those models will use RoBERTa-wwm-extas their embedding layer and feed the embedding into different neural networks. The motivation be-hind proposing these models is straightforward. By introducing complex output layer architecture, the overall performance of the models could be improved. All the models were trained on a data set derived from Chinese public court records, and the performance of different models were compared.The experiment shows that the performance of pro-posed models failed to beat the original RoBERTa-wwm-ext model in terms of accuracy and training efficiency.

研究の動機と目的

• RoBERTa-wwm-extをベースエンコーダーとして用い、違法なオンライン行動を検出する中国語テキスト分類の性能を向上させること。
• RoBERTa-wwm-extにCNN、RNN、RCNN、DPCNNといった複雑なニューラルネットワークヘッドを追加することで、分類精度および学習効率が向上するかを調査すること。
• 裁判録に基づく中国語テキストに対して、ハイパーパramータの最適化およびテキスト前処理（例：シーケンスパディング）を施し、モデル性能を向上させること。
• バリデーション精度および学習時間の観点から、提案モデルをRoBERTa-wwm-extベースラインと比較すること。

提案手法

• 6,755件の手動ラベル付与済み中国語裁判録から成るデータセットを用い、RoBERTa-wwm-extを微調整した。学習：64%、検証：16%、テスト：20%に分割した。
• 微調整中に任意の層を凍結せず、RoBERTa-wwm-extを埋め込み層として使用し、全単語マスキングおよびRoBERTa最適化学習を活用した。
• 文脈的埋め込みを4種類の異なる分類ヘッドに供給した：1D-CNN（カーネルサイズ2, 3, 4、各100フィルタ）、BiLSTM（768隠れユニット）、RCNN（リカレント接続付き）、DPCNN（スタックされた畳み込みブロック）。
• すべてのヘッドにドロップアウト（率0.1）を適用し、10エポックにわたりTesla P100 GPU（CUDA 10.2）を用い、バッチサイズ64で学習した。
• ハイパーパramータを最適化し、可変長入力を処理するためのシーケンスパディングを適用した。
• バリデーション精度および異なるバッチサイズ（64および16）における学習時間を用いて、モデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 RoBERTa-wwm-extにCNN、RNN、RCNN、DPCNNといった複雑なニューラルネットワークヘッドを追加することで、中国語法的テキスト分類の精度が向上するか？
• RQ2 提案モデルはRoBERTa-wwm-extベースラインと比較して、より短い学習時間を達成できるか？
• RQ3 バッチサイズは、提案モデルの精度および学習時間にどのように影響するか？
• RQ4 RoBERTa-wwm-extがベースエンコーダーとしての性能を十分に発揮しており、より複雑なヘッドアーキテクチャを上回っているか？
• RQ5 シーケンスパディングを含むテキスト前処理が、モデル性能に顕著な影響を与えるか？

主な発見

• ベースラインのRoBERTa-wwm-extモデルは、バッチサイズ64で最高のバリデーション精度95.31％を達成した。
• RNNベースのモデルは95.03％のバリデーション精度を達成し、ベースラインに最も近いが、依然として劣っていた。
• DPCNNベースのモデルは92.38％のバリデーション精度を達成し、全モデル中最も低かった。このアーキテクチャでは性能が著しく劣っていた。
• 学習時間はモデル間でわずかに異なるのみで、RNNモデルが最も長く（10エポックで5分42秒）、DPCNNが最も速かった（3分46秒）が、顕著な差はなかった。
• バッチサイズを64から16に減らすと、精度がわずかに向上（例：ベースラインは95.31％から96.58％に）したが、学習時間は著しく延びた（約4分から約13分に）。
• 提案モデルのいずれも、精度および学習効率の両面でRoBERTa-wwm-extベースラインを上回ることはできず、事前学習済みモデルの表現学習能力がこのタスクにおいてすでに最適であることが示された。