[論文レビュー] Adversarial Partial Multi-Label Learning

Yan Yan, Yuhong Guo|arXiv (Cornell University)|Sep 15, 2019

Text and Document Classification Technologies参考文献 31被引用数 7

ひとこと要約

本稿では、部分的多ラベル学習のための新しい生成的対抗的ネットワークフレームワークPML-GANを提案する。このフレームワークは、双方向エンコーダ・デコーダ構造を用いて、ノイズの多いラベルの解消と真のラベルの予測を同時に実現する。不確実性の低いラベルの推定と、ラベルと特徴の対応関係を強化する敵対的学習により、合成および実世界のPMLデータセットで最先端の性能を達成する。

ABSTRACT

Partial multi-label learning (PML), which tackles the problem of learning multi-label prediction models from instances with overcomplete noisy annotations, has recently started gaining attention from the research community. In this paper, we propose a novel adversarial learning model, PML-GAN, under a generalized encoder-decoder framework for partial multi-label learning. The PML-GAN model uses a disambiguation network to identify noisy labels and uses a multi-label prediction network to map the training instances to the disambiguated label vectors, while deploying a generative adversarial network as an inverse mapping from label vectors to data samples in the input feature space. The learning of the overall model corresponds to a minimax adversarial game, which enhances the correspondence of input features with the output labels in a bi-directional mapping. Extensive experiments are conducted on multiple datasets, while the proposed model demonstrates the state-of-the-art performance for partial multi-label learning.

研究の動機と目的

• 訓練インスタンスが過剰でノイズの多いラベル集合をアノテートする状況における多ラベル学習の課題に対処すること。
• ノイズラベルの同定と、ノイズの多いアノテーションから真の多ラベル出力を同時に予測する統合フレームワークの開発。
• 信頼度スコアリングや反復的ラベル伝搬に依存する従来手法の限界を克服すること。これらは誤差の蓄積に脆弱である。
• 敵対的学習を活用して、入力特徴と解釈済みラベルベクトルの間の対応関係を強化すること。
• 特徴とラベルの間の前向きおよび逆方向マッピングをモデル化することで、部分的多ラベル学習において最先端の性能を達成すること。

提案手法

• 4ネットワークアーキテクチャ（ラベル解釈ネットワーク、多ラベル予測ネットワーク、生成器、識別器）を提案し、一般化されたエンコーダ・デコーダフレームワークを構築する。
• ラベル解釈ネットワークを用いて、各候補ラベルがノイズである確率を推定し、ラベルのフィルタリングを可能にする。
• 予測ネットワークを訓練して、入力特徴を解釈済みラベルベクトルにマップさせ、多ラベル分類の精度を向上させる。
• 生成的敵対的ネットワーク（GAN）を用いて、ラベルベクトルから元の特徴空間への逆マッピングを学習する。
• エンコーダ（解釈 + 予測）とデコーダ（生成器 + 識別器）を同時に最適化するミニマックス敵対的ゲームを採用する。
• 分類損失、敵対的損失、生成損失を統合した損失関数を用い、学習の安定化と一般化性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 生成的敵対的ネットワークフレームワークは、部分的多ラベル学習におけるノイズラベルの解釈に有効に機能するか？
• RQ2 エンコーダ・デコーダ構造による双方向の特徴-ラベルマッピングは、多ラベル予測性能をどのように向上させるか？
• RQ3 敵対的学習と生成的再構成の相対的寄与度は、ラベルの解釈と予測にどの程度影響を与えるか？
• RQ4 提案手法は、信頼度推定や反復的ラベル伝搬に依存する既存のPML手法を上回る性能を示すか？
• RQ5 統合的敵対的フレームワークにより、ラベルの解釈と予測を統合することで、2段階アプローチに比べて誤差の蓄積が減少するか？

主な発見

• PML-GANは、複数の合成および実世界の部分的多ラベル学習データセットで最先端の性能を達成し、平均適合度と1エラーの両指標で既存手法を上回った。
• アブレーションスタディの結果、敵対的損失と生成損失の両方が重要であることが確認された。両方の損失を除いた場合、完全なモデルに比べて顕著な性能低下が生じた。
• 分類損失のみを用いたバージョン（CLS-ML）でさえも、良好な性能を示しており、ラベルの解釈と予測を統合したネットワーク設計の有効性を裏付けた。
• Deliciousデータセットでは、平均適合度0.620 ± 0.002、1エラー0.386 ± 0.003を達成し、すべてのベースラインを上回った。
• EURLEX-DCデータセットでは、平均適合度0.779 ± 0.015、1エラー0.315 ± 0.021を達成し、大規模多ラベルデータに対して強いロバストネスを示した。
• PML-FP、PML-LC、および2段階ラベル伝搬アプローチなど、従来手法と比較して、特にノイズラベル比が高い設定でも一貫して優れた性能を示した。