[論文レビュー] Incorporating Multiple Cluster Centers for Multi-Label Learning

Senlin Shu, Fengmao Lv+4 more|arXiv (Cornell University)|Apr 17, 2020

Text and Document Classification Technologies被引用数 4

ひとこと要約

本論文は、実データのクラスタ中心から仮想例を生成することで、局所的なラベル相関関係とラベルの重要度を符号化する、マルチラベル学習のための新規なデータ拡張手法を提案する。新たな正則化項により、実例と仮想例の類似性を強制し、モデルの滑らかさを向上させ、標準指標において平均で7.1%および6.0%の向上を達成し、最先端の性能を実現した。

ABSTRACT

Multi-label learning deals with the problem that each instance is associated with multiple labels simultaneously. Most of the existing approaches aim to improve the performance of multi-label learning by exploiting label correlations. Although the data augmentation technique is widely used in many machine learning tasks, it is still unclear whether data augmentation is helpful to multi-label learning. In this article, we propose to leverage the data augmentation technique to improve the performance of multi-label learning. Specifically, we first propose a novel data augmentation approach that performs clustering on the real examples and treats the cluster centers as virtual examples, and these virtual examples naturally embody the local label correlations and label importances. Then, motivated by the cluster assumption that examples in the same cluster should have the same label, we propose a novel regularization term to bridge the gap between the real examples and virtual examples, which can promote the local smoothness of the learning function. Extensive experimental results on a number of real-world multi-label datasets clearly demonstrate that our proposed approach outperforms the state-of-the-art counterparts.

研究の動機と目的

• データ拡張がマルチラベル学習の性能を向上させることを調査すること。これは、この文脈におけるその有用性が明確でないためである。
• クラスタリングを活用して、局所的なラベル相関関係とラベルの重要度を反映する意味のある仮想例を生成すること。
• クラスタ仮説に基づく正則化項を提案し、実例と仮想例を橋渡しすることで、学習関数の局所的滑らかさを向上させること。
• 実世界のマルチラベルデータセットを用いた広範な実験を通じて、提案手法の有効性を示すこと。

提案手法

• 実トレーニング例をクラスタリングし、局所的なデータ構造を特定する。クラスタ中心を仮想例として扱う。
• 各クラスタ中心を、そのクラスタ内に属するすべてのインスタンスのラベルを平均化して得られる連続的ラベルベクトルを持つ新たなトレーニングインスタンスとして扱う。
• 実インスタンスのモデル出力が対応するクラスタ中心の出力と類似するよう促す、新規な正則化項を提案する。これにより、局所的滑らかさが促進される。
• 正則化項を学習目的関数に統合し、実データへのフィッティングと仮想例への予測の整合性のバランスを取る。
• ハイパーパramータ α と γ を用いて仮想例の影響と正則化の影響を制御し、β を用いてモデルの複雑さをバランスさせる。
• 仮想例生成の細粒度を制御するため、クラスタ数 c を調整可能なパラメータとして用いる。

(a) One-error

実験結果

リサーチクエスチョン

• RQ1 データ拡張技術は、この分野における先行研究が限られているにもかかわらず、マルチラベル学習の性能向上に寄与できるか？
• RQ2 クラスタ中心をどのように活用すれば、局所的なラベル相関関係とラベルの重要度を反映する意味のある仮想例を生成できるか？
• RQ3 実インスタンスとそのクラスタ中心の類似性を強制することで、学習関数の滑らかさと一般化性能が向上するか？
• RQ4 提案フレームワークにおいて、実データへのフィッティング、仮想例の活用、モデルの複雑さのバランスを最適化するにはどうすればよいか？

主な発見

• 1つの誤差指標を用いた場合、シーンデータセットにおいて最先端手法を平均7.1%上回る性能を達成した。
• 大規模なコンピュータデータセットでは、1つの誤差指標を用いて平均6.0%の性能向上を達成した。
• 仮想例への影響を制御するハイパーパramータ α に対して、モデルは相対的に感度が低く、ロバスト性が示された。
• 正則化ハイパーパramータ γ は中間的な値で最適な性能を示し、実例と仮想例を橋渡しする有効性が裏付けられた。
• β を用いたモデルの複雑さの制御はU字型の性能曲線を示し、β=1 のような中間値で最良の結果を示した。これは、過学習とアンダーフィッティングのバランスを取る必要があることを示している。
• クラスタ数 c に対して、モデルは相対的に感度が低く、広範なクラスタ数の範囲で安定した性能を示した。これはハイパーパramータのチューニングを簡素化する。

(b) Hamming loss