[論文レビュー] Extension of TSVM to Multi-Class and Hierarchical Text Classification Problems With General Losses

Sathiya Keerthi Selvaraj, Sundararajan Sellamanickam+1 more|arXiv (Cornell University)|Nov 1, 2012

Text and Document Classification Technologies参考文献 23被引用数 8

ひとこと要約

本稿は、ラベル割り当てを線形計画法（LP）問題として定式化することで、一般損失関数を用いた多値および階層的テキスト分類へのトランスductive SVM（TSVM）の拡張を提案する。これにより、交互最小化を用いた効率的な最適化が可能となり、期待正則化、事後正則化、エントロピー正則化よりも優れた性能を示す。特に、マージン最大化損失では顕著な性能向上を達成し、ラベル数制約の処理にも効果的である。

ABSTRACT

Transductive SVM (TSVM) is a well known semi-supervised large margin learning method for binary text classification. In this paper we extend this method to multi-class and hierarchical classification problems. We point out that the determination of labels of unlabeled examples with fixed classifier weights is a linear programming problem. We devise an efficient technique for solving it. The method is applicable to general loss functions. We demonstrate the value of the new method using large margin loss on a number of multi-class and hierarchical classification datasets. For maxent loss we show empirically that our method is better than expectation regularization/constraint and posterior regularization methods, and competitive with the version of entropy regularization method which uses label constraints.

研究の動機と目的

• 二値分類から多値および階層的テキスト分類問題へのトランスductive SVM（TSVM）の拡張を目的とする。
• 半教師あり学習において、マージン最大化損失や最大エントロピー損失を含む一般損失関数をサポートする手法の開発を目的とする。
• ラベル数制約（n(y)）を用いたドメイン知識の統合により、ラベル付けにおける多数クラスバイアスを防止することを目的とする。
• 分類器重み（w）と未ラベル例のラベル割り当て（y^u）を交互に更新する、効率的な最適化フレームワークの提供を目的とする。
• エントロピー正則化、期待正則化、事後正則化といった既存の半教師あり手法と比較して、優れた性能を示すことを目的とする。

提案手法

• 分類器重み（w）が固定された際、未ラベル例のラベル割り当てを線形計画法（LP）問題として定式化することで、計算を効率化する。
• 交互最適化を用いる：wを固定してLPによりy^uを最適化し、次にy^uを固定して標準的な凸最適化によりwを最適化する。
• 各クラスに割り当てられる未ラベル例の数を等式制約として導入することで、多数クラスへのバイアスを防止する。
• 損失項ξ(w, x_i^u, y_i^u) を目的関数に組み込むことで、一般損失関数（マージン最大化損失や最大エントロピー損失など）をサポートする。
• 最大エントロピー損失の場合は、柔らかいラベル分布に依存する勾配計算を避けるために、直接的に離散ラベル割り当てを最適化する。これは、柔らかいラベル分布に依存する手法とは対照的である。
• 階層的構造に対してもスケーラブルで効果的であり、特徴量と重みを全階層にわたって定義し、リーフラベルへのパスに沿ったノードのみを活性化することで、効率的な処理を実現する。

実験結果

リサーチクエスチョン

• RQ1 一般損失関数を用いた多値および階層的テキスト分類に、TSVMフレームワークを効果的に拡張できるか？
• RQ2 提案手法のLPベースのラベル割り当て手法は、エントロピー正則化や事後正則化といった既存の半教師あり手法と比較して、どのように性能を発揮するか？
• RQ3 柔らかいラベル分布の勾配に基づく手法に依存せずに、多値および階層的設定においてラベル数制約（n(y)）を効率的に強制できるか？
• RQ4 wとy^uの間で交互に最適化を行う手法は、期待ラベル分布を最適化対象とする連続的緩和手法よりも優れた結果をもたらすか？
• RQ5 複雑なラベル構造を有する大規模テキスト分類データセットにおいて、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、二値テキスト分類データセット（gcat および aut-avn）において、期待正則化および事後正則化手法を顕著に上回り、特に第一クラスのF値で優れた性能を示した。
• 最大エントロピー損失の設定では、期待正則化／制約および事後正則化よりも実験的に優れており、ラベル制約を用いるエントロピー正則化手法と同等の性能を達成した。
• マージン最大化損失を用いた多値および階層的分類タスクにおいて、強い性能を発揮した。これは、LPを用いた離散ラベル割り当ての有効性を示している。
• LPベースのラベル割り当てと交互最適化を組み合わせることで、複雑な制約関数の勾配計算を必要とせず、ドメイン制約の処理を効率的に行えるようになった。
• ラベル数制約が正確に分かっている場合でも、本手法は頑健で効果的であり、半教師ありモデルが未ラベル例をすべて多数クラスに割り当てる傾向を回避できた。
• 部分ラベルが存在する状況においても、未知ラベルをy^u集合に含めることで、構造予測問題への一般化・スケーラビリティが確保された。