[論文レビュー] Rectifying Classifier Chains for Multi-Label Classification

Robin Senge, Juan José del Coz+1 more|arXiv (Cornell University)|Jun 7, 2019

Text and Document Classification Technologies参考文献 25被引用数 6

ひとこと要約

本稿は、予測時におけるノイズの多いラベル推定による分類器チェーン（CC）における誤り伝搬を深刻な欠陥と特定し、訓練時において真のラベルの代わりに予測ラベル値を特徴量として使用することで誤り伝搬を軽減するためのネストスタッキング（NS）を提案する。実験の結果、ラベルの複雑さが高く、個々のラベルの正答率が低いデータセットにおいて、NSはハミング損失およびサブセット0/1損失の両面で顕著に性能を向上させ、サブセット補正を組み合わせることで全指標においてさらなる向上が得られる。

ABSTRACT

Classifier chains have recently been proposed as an appealing method for tackling the multi-label classification task. In addition to several empirical studies showing its state-of-the-art performance, especially when being used in its ensemble variant, there are also some first results on theoretical properties of classifier chains. Continuing along this line, we analyze the influence of a potential pitfall of the learning process, namely the discrepancy between the feature spaces used in training and testing: While true class labels are used as supplementary attributes for training the binary models along the chain, the same models need to rely on estimations of these labels at prediction time. We elucidate under which circumstances the attribute noise thus created can affect the overall prediction performance. As a result of our findings, we propose two modifications of classifier chains that are meant to overcome this problem. Experimentally, we show that our variants are indeed able to produce better results in cases where the original chaining process is likely to fail.

研究の動機と目的

• 推論時における真のラベルを予測ラベルに置き換えることによる属性ノイズが、分類器チェーンにおいてもたらす影響を調査すること。
• 元のCC手法において誤り伝搬が性能を著しく低下させる条件を同定すること。
• 訓練時に予測ラベル値を特徴量として使用することで誤り伝搬を低減する、修正された訓練手順を提案すること。
• CCが特に性能を発揮しないとされるデータセットにおいて、提案手法の有効性を評価すること。
• サブセット補正がマルチラベル分類モデルの一般化手法として果たす利点を検討すること。

提案手法

• 訓練時において真のラベルの代わりに予測ラベル値を追加の特徴量として使用する、ネストスタッキング（NS）と呼ばれる分類器チェーンの変種を提案する。
• 二値分類器をチェーンの順序で訓練するが、後続の分類器の入力特徴量として、前の分類器からの推定関連度スコアを使用する。これは、実際の予測状況を模倣するものである。
• 予測値を真のラベル集合とより一致させるように調整するサブセット補正メカニズムを導入し、一貫性を高め、誤り伝搬を低減する。
• 単体およびアンサンブル設定の両方でNSを適用し、標準CCおよびその補正版と性能を比較する。
• 二段階訓練プロセスを採用する：まず真のラベルに基づいて基本分類器を訓練し、次に予測値を用いて再訓練することで、推論時の条件を模擬する。
• 標準指標を用いて性能を評価する：複数のベンチマークデータセット上でハミング損失、サブセット0/1損失、ジャコーデ指数、F1スコアを用いる。

実験結果

リサーチクエスチョン

• RQ1 分類器チェーンにおける誤り伝搬がマルチラベル分類性能を著しく低下させる条件は何か？
• RQ2 訓練時において真のラベルの代わりに予測ラベル値を特徴量として使用することは、分類器チェーンの一般化性能およびロバストネスにどのように影響を与えるか？
• RQ3 提案されたネストスタッキング手法は、元の分類器チェーンと比較して誤り伝搬をどの程度低減できるか？
• RQ4 サブセット補正は、さまざまなマルチラベル分類指標において、性能向上にどの程度効果を発揮するか？
• RQ5 ネストスタッキングの利点は、ラベルの基数や個々のラベルの正答率といったデータセットの特性によって変化するか？

主な発見

• ネストスタッキング（NS）は、ハミング損失において標準CCに対して8つの優位性を示し、敗北は3にとどまる。これは、複雑なデータセットにおいて強力で一貫性のある改善を示している。
• NSは、多くのラベルを有するデータセット（例：bibtex, enron, mediamill）およびハミング損失が著しく高いデータセット（例：yeast）においてCCを上回り、誤り伝搬が最も深刻に影響を与える状況で顕著な改善を示す。
• サブセット補正は全指標において性能を著しく向上させ、特にサブセット0/1損失で最大の向上が観察され、ハミング損失では最小の向上である。
• 補正済みNS（NS_SC）は、補正済みCC（CC_SC）に対してサブセット0/1損失で3つの有意な優位性を示し、困難な状況下でも補正の有効性を裏付けている。
• ラベル数が少なく、個々のラベル正答率が高いデータセット（例：reuters, scene, image）では、NSはCCよりも性能が劣る。これは、誤り伝搬がそのような状況ではあまり問題にならないことを確認している。
• サブセット補正はほぼすべてのデータセットおよび指標で性能を向上させ、大多数の向上が統計的に有意である。これは、補正手法の一般化可能性とロバストネスを示している。