[論文レビュー] Multi-Task Label Embedding for Text Classification

Honglun Zhang, Liqiang Xiao+3 more|arXiv (Cornell University)|Oct 17, 2017

Topic Modeling参考文献 14被引用数 7

ひとこと要約

本稿では、テキスト分類のラベルを密度行列の意味的ベクトルにマッピングすることで、分類タスクをベクトルマッチング問題に変換するMulti-Task Label Embedding（MTLE）を提案する。意味的ラベル表現を活用することで、構造的変更を最小限に抑えつつスケーラブルで転送可能なマルチタスク学習を実現し、4つのタスクを同時に学習した際の平均正解率向上が5.9%に達した。

ABSTRACT

Multi-task learning in text classification leverages implicit correlations among related tasks to extract common features and yield performance gains. However, most previous works treat labels of each task as independent and meaningless one-hot vectors, which cause a loss of potential information and makes it difficult for these models to jointly learn three or more tasks. In this paper, we propose Multi-Task Label Embedding to convert labels in text classification into semantic vectors, thereby turning the original tasks into vector matching tasks. We implement unsupervised, supervised and semi-supervised models of Multi-Task Label Embedding, all utilizing semantic correlations among tasks and making it particularly convenient to scale and transfer as more tasks are involved. Extensive experiments on five benchmark datasets for text classification show that our models can effectively improve performances of related tasks with semantic representations of labels and additional information from each other.

研究の動機と目的

• マルチタスクテキスト分類において、クラス間の意味的関係を無視するone-hotラベル表現の限界を是正すること。
• 再トレーニングや構造的変更なしに、新しいタスクを容易に統合できるスケーラブルなマルチタスク学習を可能にすること。
• 事前学習した関連タスク上で微調整することで、新しいタスクに一般化できる転移学習を支援すること。
• ラベルの意味的特徴とタスク間相関を同時に学習することで性能向上を達成すること。
• 多様な学習シナリオに対応する、非教師あり・教師あり・半教師ありのMTLEバージョンを開発すること。

提案手法

• 各テキスト分類タスクのラベルは、学習可能なラベル埋め込み層を用いて低次元の実数値意味的ベクトルに変換される。
• モデルはテキスト分類をベクトルマッチングタスクとして扱い、テキスト表現を対応するラベル埋め込みベクトルと照合する。
• 共有エンコーダーネットワークが入力シーケンスを処理し、全タスクの文脈に依存する表現を生成する。
• 損失関数は、各タスクの予測に対する交差エントロピーと、テキスト表現と対応するラベル埋め込みを一致させるコントラスト型損失を組み合わせる。
• 構造的変更なしに3つ以上のタスクを同時に学習可能であり、スケーラビリティを実現する。
• 事前学習済みのテキストエンコーダーと凍結されたラベル埋め込みを用いて、新しいタスクでラベル埋め込み空間を微調整することで、転移学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 one-hot符号化と比較して、ラベルを意味的ベクトルにマッピングすることでマルチタスクテキスト分類の性能が向上するか？
• RQ2 提案手法は再トレーニングや構造的再設計なしに3つ以上のタスクにスケーリング可能か？
• RQ3 関連タスクで事前学習した後、未観測の新しいタスクに一般化可能か？
• RQ4 意味的ラベル表現とタスク間相関が、性能向上にどのように寄与するか？
• RQ5 教師ありおよび半教師あり設定の両方で、MTLEは最先端のマルチタスク学習モデルを上回るか？

主な発見

• 4つのタスクを同時に学習した際、MTLEは全タスクで平均5.9%の性能向上を達成し、ラベルの意味的特徴とタスク間相関の価値を示した。
• 5つのベンチマークデータセットにおいて、最先端のベースラインを上回り、ほとんどのタスクで競争的または優れた結果を達成した。
• IMDBデータセットではPVがわずかにMTLEを上回った（91.7 vs. 91.3）、しかしMTLEは短いシーケンスを扱う他のタスクでより優れた一般化性能を示した。
• モデルは効果的な転移学習を示した：複数のタスクで事前学習した後、追加のトレーニングなしに新しいタスクで顕著な性能を達成した。
• 性能向上の可視化分析から、BooksとDVD、ElectronicsとKitchenは意味的直感に一致して相関が高かった。
• 非教師ありおよび半教師ありバージョンのMTLEは強力な性能を示し、データ可用性の異なる設定でも本手法の頑健性を確認した。