[論文レビュー] Bayesian Network Based Label Correlation Analysis For Multi-label Classifier Chain

Ran Wang, Suhe Ye+2 more|arXiv (Cornell University)|Aug 6, 2019

Text and Document Classification Technologies参考文献 45被引用数 4

ひとこと要約

本稿では、分類器チェーン（CC）の性能向上を目的として、ラベル相関をモデル化するためのベイジアンネットワークベースの手法BNCCを提案する。条件付きエントロピーを用いてラベル依存関係を定量化し、新しいスコア関数を用いたベイジアンネットワークの構築、およびトポロジカルソートによるラベル順序の導出により、ECCのようなアンサンブル手法よりも低い時間計算量で競争力のある性能を達成する。

ABSTRACT

Classifier chain (CC) is a multi-label learning approach that constructs a sequence of binary classifiers according to a label order. Each classifier in the sequence is responsible for predicting the relevance of one label. When training the classifier for a label, proceeding labels will be taken as extended features. If the extended features are highly correlated to the label, the performance will be improved, otherwise, the performance will not be influenced or even degraded. How to discover label correlation and determine the label order is critical for CC approach. This paper employs Bayesian network (BN) to model the label correlations and proposes a new BN-based CC method (BNCC). First, conditional entropy is used to describe the dependency relations among labels. Then, a BN is built up by taking nodes as labels and weights of edges as their dependency relations. A new scoring function is proposed to evaluate a BN structure, and a heuristic algorithm is introduced to optimize the BN. At last, by applying topological sorting on the nodes of the optimized BN, the label order for constructing CC model is derived. Experimental comparisons demonstrate the feasibility and effectiveness of the proposed method.

研究の動機と目的

• 分類器チェーン（CC）手法における最適なラベル順序を決定するという、性能に顕著な影響を与える重要な課題に取り組む。
• 条件付き依存関係を捉える確率的グラフィカルモデルを用いて、正および負の両方の複雑なラベル相関をモデル化する。
• 訓練および推論の時間計算量を増加させることなく、CCの性能を向上させるスケーラブルで効率的な手法を開発する。
• 乱数やヒューリスティックな順序に代わる、データ駆動型で構造最適化されたラベル順序戦略を提供する。
• 提案手法が、多ラベルベンチマークデータセットにおいて、精度と効率の両面で既存手法を上回ることを実証する。

提案手法

• 1つのラベルが他のラベルの存在を前提としたときの不確実性を定量化するため、条件付きエントロピーを用いる。これはラベル間の依存関係の尺度として機能する。
• ノードがラベルを表し、エッジの重みが条件付きエントロピーから導かれる依存関係の強度を表すベイジアンネットワーク（BN）を構築する。
• ラベル相関パターンをよりよく捉える構造を評価するための、新しいスコア関数を提案する。
• モデルの複雑さと相関の忠実度のバランスを取るために、ヒューリスティックなアルゴリズムを用いてBN構造を最適化する。
• 最適化されたBNに対してトポロジカルソートを適用し、依存関係に配慮した決定論的なラベル順序を導出する。
• 得られたラベル順序をCCフレームワークに統合し、各分類器が先行するラベルを拡張特徴量として利用することで、予測精度を向上させる。

Figure 1: Directed network composed of five labels.

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワークは、多ラベル学習問題における複雑で方向性のあるラベル相関を効果的にモデル化できるか？
• RQ2 BNで学習された依存関係に基づくデータ駆動型ラベル順序戦略は、ランダムまたはヒューリスティックな順序に比べ、分類器チェーンの性能を向上させるか？
• RQ3 提案手法BNCCは、最先端の多ラベル学習手法を上回る性能を達成できるか、かつ時間計算量を低く維持できるか？
• RQ4 ECCのようなアンサンブルベースのCC手法と比較して、BNCCの精度および計算効率の両面での性能はどのように異なるか？
• RQ5 提案されたスコア関数およびヒューリスティックアルゴリズムは、真のラベル依存関係を反映する意味のあるBN構造を学習するのに有効か？

主な発見

• BNCCは、複数のベンチマークデータセットにおいて、BR、CC、GCC、CLRと比較してハミング損失、Fスコア、マイクロ-F1で統計的に有意な改善を達成した。
• 訓練およびテスト段階の両方で、ECCよりも精度と効率の両面で優れた性能を示し、はるかに低い時間計算量を達成した。
• ペアワイズウィルコクソン符号順位検定の結果、Fスコアおよびマイクロ-F1において、BNCCはすべての比較手法を統計的に上回り、p値 < 0.05であった。
• マクロ-F1においてはBNCCがECCと有意に差を付けないものの、はるかに低い計算コストで同等の性能を達成した。
• 提案されたスコア関数およびヒューリスティックアルゴリズムは、実際のラベル依存関係を反映するBN構造を効果的に学習できた。
• 実証的結果から、BNベースの順序付けによるラベル相関の統合が、時間計算量を増加させることなくCCの性能を向上させることを確認した。

(a) Positive relationship between Rural - Village or Rural-Paddy