[論文レビュー] Light-Weighted CNN for Text Classification

Ritu Yadav|arXiv (Cornell University)|Apr 16, 2020

Handwritten Text Recognition Techniques参考文献 23被引用数 5

ひとこと要約

本論文は、深度分離畳み込みと拡張畳み込みを用いて、トレーニング可能なパラメータ数を約300,000減少させる軽量なCNNアーキテクチャを提案する。これにより、精度が向上し、トレーニング時間も最大4倍速くなる。特に、Adamからモーメンタム付きSGDへの二段階最適化スケジューリングを用いることで、損失が低く抑えられ、収束が速くなり、ビジネスドキュメント分類におけるリソース制約環境下での実用的で効率的な展開が可能になる。

ABSTRACT

For management, documents are categorized into a specific category, and to do these, most of the organizations use manual labor. In today's automation era, manual efforts on such a task are not justified, and to avoid this, we have so many software out there in the market. However, efficiency and minimal resource consumption is the focal point which is also creating a competition. The categorization of such documents into specified classes by machine provides excellent help. One of categorization technique is text classification using a Convolutional neural network(TextCNN). TextCNN uses multiple sizes of filters, as in the case of the inception layer introduced in Googlenet. The network provides good accuracy but causes high memory consumption due to a large number of trainable parameters. As a solution to this problem, we introduced a whole new architecture based on separable convolution. The idea of separable convolution already exists in the field of image classification but not yet introduces to text classification tasks. With the help of this architecture, we can achieve a drastic reduction in trainable parameters.

研究の動機と目的

• 標準TextCNNにおける大規模なトレーニング可能なパラメータ数に起因する高メモリ消費を是正すること。
• 画像分類分野で成功している深層学習技術（特に分離畳み込みおよび拡張畳み込み）をテキスト分類タスクに適応・検討すること。
• 分類精度を損なわず、モデルサイズとトレーニング時間を削減すること。
• 適応的学習率と二段階最適化スケジューリング（Adamからモーメンタム付きSGDへの切り替え）を用いてハイパーパrameterとトレーニングダイナミクスを最適化すること。
• 実世界のビジネスドキュメントデータセット（Tobacco-3482）を用いて、実用的展開を評価すること。

提案手法

• 空間的およびチャネル別演算を分離することで、パラメータ数を削減するため、TextCNNの標準畳み込みフィルタを深度分離畳み込みに置き換えた。
• パラメータ数を増やさずに受容 field を拡大するため、拡張畳み込みを適用し、文脈的モデリング能力を維持した。
• 二段階最適化戦略を採用：初期段階では高速収束を実現するAdam、その後は微調整と安定性向上のためのモーメンタム付きSGDに切り替えた。
• 広範な実験を通じて、学習率の減衰、L2正則化、バッチサイズ、leaky ReLUのalpha値などのハイパーパrameterを最適化した。
• トレーニングの加速と一般化性能の向上のため、バッチ正規化を実装した。
• スケーラビリティと過学習の有無を評価するため、フル（Tobacco-3482）およびスモール（Tobacco small-3482）データセットの両方でモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 深度分離畳み込みは、性能に悪影響を及げることなく、テキスト分類モデルのトレーニング可能なパラメータ数を効果的に削減できるか？
• RQ2 より少ないパラメータで、標準フィルタと比較して長距離依存関係をどのように捉えられるか？
• RQ3 Adamからモーメンタム付きSGDへの二段階最適化戦略は、単一最適化器を用いたトレーニングと比較して、収束速度と最終的な精度を向上させるか？
• RQ4 ハイパーパrameterチューニングとアーキテクチャの変更を組み合わせることで、トレーニング時間をどれほど短縮しつつ、モデル精度を維持または向上できるか？
• RQ5 提案された軽量アーキテクチャは、実世界のビジネスドキュメント分類ベンチマークで競争力のある性能を達成できるか？

主な発見

• 提案された軽量CNNは、ベースモデルのTextCNNと比較して、約300,000のトレーニング可能なパラメータを削減し、フルデータセットで16,496,856パラメータを達成した。
• Tobacco-3482データセットでは、43.5%の精度と1.90の損失を達成した。これは、ベースモデルの3.21よりも顕著に低いが、最適化版と比較するとわずかに精度が低い。
• 二段階最適化戦略を用いることで、フルデータセットのトレーニング時間は約26分（ベースモデルの約2時間と比較）に短縮され、4倍の高速化が達成された。
• スモールデータセット（Tobacco small-3482）では、二段階最適化戦略によりトレーニング時間が2分にまで短縮されたが、ベースモデルでは9分かかっていた。
• 分離畳み込み、拡張畳み込み、二段階最適化スケジューリングの組み合わせにより、収束が速くなり、安定性が向上した。フルデータセットでは損失が30%以上低減された。
• 圧縮と性能のバランスを図り、メモリ消費量とトレーニング時間の大幅な削減を実現しながら、高い精度（スモールデータセットで83%）を維持した。