[論文レビュー] Multi-Label Learning with Deep Forest

Liang Yang, Xi-Zhu Wu+2 more|arXiv (Cornell University)|Nov 15, 2019

Text and Document Classification Technologies参考文献 32被引用数 32

ひとこと要約

MLDFは、マルチラベル学習におけるラベル認識ランダムフォレストのカスケード（ディープフォレスト）を、測度認識機能再利用と層成長と組み合わせて導入し、モデルの複雑さを抑制し、ユーザーが指定する評価測度を最適化します。

ABSTRACT

In multi-label learning, each instance is associated with multiple labels and the crucial task is how to leverage label correlations in building models. Deep neural network methods usually jointly embed the feature and label information into a latent space to exploit label correlations. However, the success of these methods highly depends on the precise choice of model depth. Deep forest is a recent deep learning framework based on tree model ensembles, which does not rely on backpropagation. We consider the advantages of deep forest models are very appropriate for solving multi-label problems. Therefore we design the Multi-Label Deep Forest (MLDF) method with two mechanisms: measure-aware feature reuse and measure-aware layer growth. The measure-aware feature reuse mechanism reuses the good representation in the previous layer guided by confidence. The measure-aware layer growth mechanism ensures MLDF gradually increase the model complexity by performance measure. MLDF handles two challenging problems at the same time: one is restricting the model complexity to ease the overfitting issue; another is optimizing the performance measure on user's demand since there are many different measures in the multi-label evaluation. Experiments show that our proposal not only beats the compared methods over six measures on benchmark datasets but also enjoys label correlation discovery and other desired properties in multi-label learning.

研究の動機と目的

• 従来のバイナリ関連性を超えて、マルチラベル学習におけるラベル相関の活用を動機づける。
• バックプロパゲーションを回避する、マルチラベルタスクのためのディープフォレストベースの枠組みを提案する。
• 測度認識機能再利用と測度認識層成長という2つの機構を導入することで、モデルの複雑さをバランスさせ、複数の測度で評価する。
• 異なるベース木モデルでの柔軟性と、ベンチマークデータセット全体での過剰適合への耐性を実証する。

提案手法

• MLDFを、各層にマルチラベルフォレストのアンサンブルを含む層のカスケードとして構築する。
• 選択した測度の信頼度に基づき、前の層から良い表現を再利用する測度認識機能再利用を用いる。
• 異なるマルチラベル測度に対する層ごとの信頼度を計算し、信頼度が閾値以下の場合に前の表現を選択的に再利用する。
• 対象測度の性能をモニタリングして適応的に層成長を決定し、最近の層で改善が見られない場合に停止する（交差検証）。
• 各層に二つのベースフォレストタイプを埋め込む（RF-PCTとERF-PCT）ことで多様性を促進し、層ごとに異なる深さとフォレスト数を許容する。

実験結果

リサーチクエスチョン

• RQ1 MLDFはディープフォレスト框架においてマルチラベル学習のラベル相関を効果的に活用できるか？
• RQ2 測度認識機構は、異なる評価指標にわたって性能を向上させ、過学習を抑制するのか？
• RQ3 MLDFは、異なるベース木モデルに対して柔軟でつつ、性能を維持できるか？
• RQ4 適応的な層成長は、モデルの複雑さとベンチマークデータセットでの予測精度にどのような影響を与えるか？

主な発見

• MLDFは研究で主張されているように、複数のデータセットと6つのマルチラベル測度で高い性能を達成する。
• 2つの測度認識機構は、性能向上に必要であること、そして異なるユーザー指定測度を最適化する柔軟性を提供することが示されている。
• MLDFはカスケード構造と適応的成長を通じてラベル相関の発見と過学習への耐性を示す。
• 実験は、MLDFが異なるベース木モデルに対応し、一部のベースラインと比較してモデルの複雑さを抑えつつ競争力のある結果を維持できることを示している。