[論文レビュー] Exploring Correlation between Labels to improve Multi-Label Classification

Amit Garg, Jonathan Noyola+3 more|arXiv (Cornell University)|Nov 25, 2015

Text and Document Classification Technologies被引用数 3

ひとこと要約

本稿では、独立した二値分類器にペアワイズラベル相関を組み込むことで、マルチラベルテキスト分類を向上させる手法を提案する。個々のラベル確率と相関確率の重み付き積を用いる。保証データ上でベースライン二値モデル比でF1スコアを12.9%向上させ、複雑な特徴空間においてもラベル同時発生のモデリングが性能向上に寄与することを示している。

ABSTRACT

This paper attempts multi-label classification by extending the idea of independent binary classification models for each output label, and exploring how the inherent correlation between output labels can be used to improve predictions. Logistic Regression, Naive Bayes, Random Forest, and SVM models were constructed, with SVM giving the best results: an improvement of 12.9\% over binary models was achieved for hold out cross validation by augmenting with pairwise correlation probabilities of the labels.

研究の動機と目的

• 1つの入力に複数のラベルが適用可能なマルチラベルテキスト分類の課題に対処すること、例えば製品レビューにおけるラベル適用。
• 出力ラベル間の固有の相関を活用することで、それらを独立して扱うのではなく、予測精度を向上させること。
• アマゾン製品レビューからツイッターのつぶやきまで、多様なデータセットに適用可能なポータブルでスケーラブルな手法を開発すること。
• 2次ラベル相関の影響を、計算コストの増加を最小限に抑えつつ、モデル性能に与える影響を評価すること。

提案手法

• 事前処理済みのステムドテキストから得られるtf-idf特徴ベクトルを用いて、31種類の主要書籍ラベルそれぞれについて、L2正則化付きSVM二値分類器を31個訓練する。
• 10万件のトレーニングレビューから、ラプラススムージングと幾何平均を用いて対称性を保証する、行正規化された対称的相関行列を構築する。
• 推論段階では、個々の分類器スコアに基づき各インスタンスについて上位J個のラベルを選択し、その後、すべてのラベルペアについて組み合わせスコアを計算する：$ P(a)P(b)P(a,b)^\alpha $。
• グリーディなビーム探索に類似した手法を用いて、最も高い組み合わせスコアを持つK個のラベルペアを選択し、最終的な予測ラベル集合を形成する。
• ペアワイズ相関の影響を個々の予測相対して制御するためのハイパーパrameter $ \alpha \in [0,1] $ を導入する。
• 必要に応じてスパースSVDを用いて高次元tf-idf特徴を低次元化するが、計算時間が著しく増加しても誤差率の向上は得られなかった。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズラベル相関をモデリングすることで、独立した二値分類を超えてマルチラベル分類性能を顕著に向上させることができるか？
• RQ2 2次相関確率の組み込みが、マルチラベル学習におけるバイアスとバリアンスのトレードオフにどのように影響するか？
• RQ3 ラベル相関がデータセット固有である場合、1つのデータセット（例：アマゾン）で訓練したモデルが、別のデータセット（例：ツイッター）にどの程度一般化可能か？
• RQ4 高次元の依存関係が欠落しているにもかかわらず、ペアワイズ相関によるわずかな性能向上は、追加の複雑さを正当化するに値するか？

主な発見

• 提案手法は、ホールドアウト交差検証において、ベースライン独立二値モデル比でF1スコアを12.9%向上させた。
• SVMはロジスティック回帰、ナイーブベイズ、ランダムフォレストを上回ったが、特に高次元特徴空間における一般化能力のおかげである。
• スパースSVDによる特徴次元の低減を行ったが、テスト誤差は依然として高く、バイアスではなくバリアンスが主な問題であることが示された。
• トレーニング誤差は低く（約10%）だが、テスト誤差は顕著に高く、特に特徴量対サンプル数の比が大きい状況では過学習が顕著に見られた。
• 相関行列から強い同時発生パターン（視覚的ピークとして明確に現れる）が確認され、ペアワイズ相関を意味のある信号として用いる根拠が得られた。
• 3つ以上のラベル間の高次依存関係（例：A、B、Cが同時に発生しない）は捉えられておらず、より複雑な相関モデリングによりさらなる向上が期待できる。