[論文レビュー] Regularizing Model Complexity and Label Structure for Multi-Label Text Classification

Bingyu Wang, Cheng Li+2 more|arXiv (Cornell University)|May 1, 2017

Text and Document Classification Technologies参考文献 4被引用数 3

ひとこと要約

本稿では、学習段階でのモデル正則化と予測段階でのラベル探索空間正則化を組み合わせた二段階フレームワークを、マルチラベルテキスト分類に提案する。過学習を抑えるためにElastic-netとエアリー・ストッピングを適用し、F1スコアの最適化を図るためにF-最適化子GFMを用いたサポート推論を実施することで、複数のベンチマークデータセットで最先端の性能を達成した。実際の応用において、ラベル構造の正則化は、複雑なラベル依存性モデリングよりもより大きな影響を持つことが示された。

ABSTRACT

Multi-label text classification is a popular machine learning task where each document is assigned with multiple relevant labels. This task is challenging due to high dimensional features and correlated labels. Multi-label text classifiers need to be carefully regularized to prevent the severe over-fitting in the high dimensional space, and also need to take into account label dependencies in order to make accurate predictions under uncertainty. We demonstrate significant and practical improvement by carefully regularizing the model complexity during training phase, and also regularizing the label search space during prediction phase. Specifically, we regularize the classifier training using Elastic-net (L1+L2) penalty for reducing model complexity/size, and employ early stopping to prevent overfitting. At prediction time, we apply support inference to restrict the search space to label sets encountered in the training set, and F-optimizer GFM to make optimal predictions for the F1 metric. We show that although support inference only provides density estimations on existing label combinations, when combined with GFM predictor, the algorithm can output unseen label combinations. Taken collectively, our experiments show state of the art results on many benchmark datasets. Beyond performance and practical contributions, we make some interesting observations. Contrary to the prior belief, which deems support inference as purely an approximate inference procedure, we show that support inference acts as a strong regularizer on the label prediction structure. It allows the classifier to take into account label dependencies during prediction even if the classifiers had not modeled any label dependencies during training.

研究の動機と目的

• マルチラベルテキスト分類における高次元かつスパースなテキスト特徴量と相関するラベルの課題に対処すること。
• ラベルの不均衡や近い正解に対する部分的評価が許容される状況下でも、F1スコアの最適化を向上させること。
• 複雑なラベル依存性モデリングに依存せずに、高容量分類器におけるモデルの複雑さと過学習を低減すること。
• サポート推論が近似推論手法を越えて強力な正則化として機能するかどうかを検証すること。
• 学習段階での正則化と予測段階でのラベル空間正則化を組み合わせることで、優れた性能が得られることを示すこと。

提案手法

• 高次元特徴空間におけるモデルの複雑さを低減し、過学習を防ぐために、学習段階でElastic-net（L1 + L2）正則化を適用する。
• 過学習が発生する前に学習を停止することで、エアリー・ストッピングを暗黙の正則化として用いる。
• 予測時にサポート推論を用いて、訓練データセットで観測されたラベル組み合わせのみにラベル探索空間を制限し、予測構造に対する正則化を実現する。
• F1指標を最大化する最適なラベル集合を計算するために、F-最適化子GFM（Greedy F-Measure）予測子を統合する。
• サポート推論とGFMを組み合わせることで、未観測のラベル組み合わせの予測を可能にしつつ、F1最適性を維持する。
• 分類器からの結合確率推定値を用いてGFMのためのラベル集合をサンプリングすることで、ラベル依存性を明示的にモデル化していない場合でもF1最適性を保証する。

実験結果

リサーチクエスチョン

• RQ1 分類器が学習時にラベル依存性をモデル化していない場合でも、サポート推論がラベル予測構造に対して強力な正則化として機能するか？
• RQ2 Elastic-net やエアリー・ストッピングなどの学習段階正則化と、サポート推論＋GFMのような予測段階正則化を組み合わせることで、複雑なラベル依存性構造に依存するモデルを上回る性能が得られるか？
• RQ3 サポート推論と組み合わせたGFM予測子は、Binary Relevance（BR）やProbabilistic Classifier Chains（PCC）のようなモデルにおいて、どの程度有効か？
• RQ4 CRF や CBM といった最先端モデルの性能は、ラベルペア間の相互作用に依存しているのか、それともサポート推論に起因しているのか、その寄与度はどの程度か？
• RQ5 提案フレームワークは、医療、ニュース、特許テキストなど多様なマルチラベルデータセットに一般化可能か？

主な発見

• サポート推論は、分類器が学習時に明示的な依存性をモデル化していなくても、予測段階でラベル依存性を効果的にモデル化する強力な正則化として機能する。
• サポート推論とGFMの組み合わせは、全テスト分類器（BR, PCC, CBM, CRF）および全データセットで一貫してF1スコアを向上させ、内部のラベル依存性構造に依存する手法を上回る性能を示した。
• CRFからラベルペア相互作用を除去しても性能低下は最小限にとどまり、CRFの成功は主にペairワイズ項ではなく、サポート推論による寄与が大きいことが示唆された。
• OHSUMED（49.5）、WIPO（74.3）、ENRON（62.5）、MEDICAL（82.6）といったベンチマークデータセットで最先端のF1スコアを達成した。MEDICALではCBMが82.6のF1スコアを記録した。
• Elastic-netとエアリー・ストッピングによりモデルサイズが顕著に縮小され、高次元特徴量を伴う高容量モデル（CBMやCRF）の実用性が向上した。
• 微調整を行わずとも、SPENニューラルネットワークモデルは提案フレームワークに劣る性能を示した。これは、適切な正則化がなければ高容量モデルで過学習が深刻な問題であることを示している。