[論文レビュー] Inducing Generalized Multi-Label Rules with Learning Classifier Systems

Fani A. Tzima, Miltiadis Allamanis+2 more|arXiv (Cornell University)|Dec 25, 2015

Evolutionary Algorithms and Applications参考文献 31被引用数 5

ひとこと要約

本稿では、ラベル依存関係の事前知識が不要な一般化されたルール形式を用いて、柔軟にラベル相関をモデル化できる、マルチラベル分類のための新しい学習分類器系（MlS-LCS）を提案する。本手法は、複数のベンチマークで最先端のアルゴリズムを上回り、特にCAL500のような高ラベル基数データセットにおいて、F1スコアで70%以上優れた結果を達成し、複雑なマルチラベル設定における優れた汎化性能と解釈可能性を示している。

ABSTRACT

In recent years, multi-label classification has attracted a significant body of research, motivated by real-life applications, such as text classification and medical diagnoses. Although sparsely studied in this context, Learning Classifier Systems are naturally well-suited to multi-label classification problems, whose search space typically involves multiple highly specific niches. This is the motivation behind our current work that introduces a generalized multi-label rule format -- allowing for flexible label-dependency modeling, with no need for explicit knowledge of which correlations to search for -- and uses it as a guide for further adapting the general Michigan-style supervised Learning Classifier System framework. The integration of the aforementioned rule format and framework adaptations results in a novel algorithm for multi-label classification whose behavior is studied through a set of properly defined artificial problems. The proposed algorithm is also thoroughly evaluated on a set of multi-label datasets and found competitive to other state-of-the-art multi-label classification methods.

研究の動機と目的

• マルチラベル分類における進化的計算アプローチの不足に取り組むこと、特にスケーラブルで解釈可能なルール誘導の強みを活かした学習分類器系（LCS）の活用を目的とする。
• 明示的なラベル組み合わせの指定を必要とせず、ラベル依存関係を柔軟にモデル化できる一般化されたマルチラベルルール形式の開発を目的とする。
• ミシガンスタイルの教師ありLCSフレームワークをマルチラベル学習に対応させる。これにより、複雑でマルチニッチな問題空間における効果的な探索が可能になる。
• 提案手法を人工的および現実世界のマルチラベルデータセットに対して評価し、最先端のアルゴリズムと同等の性能を示すことを目的とする。
• 高次元で複雑な分野において、LCSが決定的およびアンサンブルベースのマルチラベル分類器の実用的で解釈可能な代替手段としての可能性を確立することを目的とする。

提案手法

• 1つのルールに複数のラベルを符号化することで、独立（BR）から完全に相関（LP）するラベル組み合わせまで、柔軟かつ動的なラベル依存関係を表現できる一般化されたマルチラベルルール形式を提案する。
• UCS や SS-LCS などのミシガンスタイルの教師ありLCSフレームワークを、複数のバイナリラベルをサポートできるように、ルール評価、フィットネス計算、ルール更新メカニズムを変更することでマルチラベル出力に対応させる。
• 予測に「Best」という新しいインフェンス戦略を導入し、予測精度を単純な多数決投票よりも向上させる。この戦略では、フィットネスが最も高いルールを選択する。
• クラスタリングに基づく初期化手順を採用し、多様で高品質な初期ルール群を生成することで、収束性と予測性能の向上を図る。
• ニッチベースの学習メカニズムを採用し、ルールがマルチラベル空間の異なる領域に特化することで、複雑で高次元の探索空間の効果的かつ効率的な探索を可能にする。
• Friedman検定およびNemenyi後処理検定を用い、精度、ハミング損失、F1、正確一致といった複数の評価指標における性能差を統計的に検証する。

実験結果

リサーチクエスチョン

• RQ1 事前知識がなくとも、一般化されたマルチラベルルール形式が、複雑なラベル相関を効果的にモデル化できるか？
• RQ2 変更された学習分類器系（LCS）フレームワークが、高次元でマルチニッチな問題空間において、コン act かつ正確で解釈可能なマルチラベルルールを効果的に誘導できるか？
• RQ3 提案されたMlS-LCSアルゴリズムは、多様なベンチマークデータセットにおいて、最先端のマルチラベル分類手法と比較してどの程度の性能を示すか？
• RQ4 一般化されたルール形式が、高ラベル基数を有する問題を含め、さまざまなタイプのマルチラベル問題において、競争力のある性能を達成できるか？
• RQ5 MlS-LCSとRAkEL、HOMER、CCといった代表的なアルゴリズムとの間で、性能差に統計的有意性があるか？

主な発見

• MlS-LCSは、3つの評価指標において平均順位2.67を達成し、先行研究でトップクラスとされているHOMER（平均順位3.83）を上回った。
• 高ラベル基数のCAL500データセットにおいて、MlS-LCSは「Best」インフェンス戦略を用いて、ライバルより少なくとも70%高いF1スコアを達成した。これは、複雑なラベル相関を効果的にモデル化できる能力を示している。
• 精度、ハミング損失、F1、正確一致の全指標において、MlS-LCSは6体中少なくとも4体のライバルを上回った。これは、HOMER や CC といった最近の比較研究で推奨されるベンチマーク手法に対しても同様に成立する。
• MlS-LCSとトップパフォーマンスを示したRAkELとの間には、どの指標においても統計的に有意な性能差が認められなかった。これは、MlS-LCSが現在の最先端技術と同等の性能を発揮していることを示している。
• Friedman検定では、精度と正確一致に関してはアルゴリズム間の性能に差がない（帰無仮説を棄却しない）が、ハミング損失に関しては帰無仮説を棄却した。Nemenyi後処理検定では、α=0.1でRAkELとHOMER/CC間に有意差が認められ、α=0.05でECCとの間に有意差が認められた。
• 一般化されたマルチラベルルール形式は、ルールベース、ラジオベース、SVMベースの多様な学習者からの知識表現を模倣でき、問題タイプに応じた柔軟性と適応性を示した。