[論文レビュー] GM-PLL: Graph Matching based Partial Label Learning

Gengyu Lyu, Songhe Feng+3 more|arXiv (Cornell University)|Jan 10, 2019

Text and Document Classification Technologies参考文献 37被引用数 4

ひとこと要約

本稿では、部分ラベル学習（Partial Label Learning, PLL）のための新しいグラフマッチングベースのフレームワーク、GM-PLLを提案する。この手法は、タスクをインスタンスからラベルへのマッチング選択問題に再定式化する。確率的グラフマッチングを多対一の制約に拡張し、緩和された予測モデルを導入することで、GM-PLLは候補ラベルの曖昧性を効果的に解消し、合成データおよび実世界のデータセットの両方で最先端または競争力のある性能を達成する。

ABSTRACT

Partial Label Learning (PLL) aims to learn from the data where each training example is associated with a set of candidate labels, among which only one is correct. The key to deal with such problem is to disambiguate the candidate label sets and obtain the correct assignments between instances and their candidate labels. In this paper, we interpret such assignments as instance-to-label matchings, and reformulate the task of PLL as a matching selection problem. To model such problem, we propose a novel Graph Matching based Partial Label Learning (GM-PLL) framework, where Graph Matching (GM) scheme is incorporated owing to its excellent capability of exploiting the instance and label relationship. Meanwhile, since conventional one-to-one GM algorithm does not satisfy the constraint of PLL problem that multiple instances may correspond to the same label, we extend a traditional one-to-one probabilistic matching algorithm to the many-to-one constraint, and make the proposed framework accommodate to the PLL problem. Moreover, we also propose a relaxed matching prediction model, which can improve the prediction accuracy via GM strategy. Extensive experiments on both artificial and real-world data sets demonstrate that the proposed method can achieve superior or comparable performance against the state-of-the-art methods.

研究の動機と目的

• 各インスタンスが正しくは1つだけのラベルを有する候補ラベルの集合に紐付けられる学習データからの学習の課題に対処する。
• 従来の部分ラベル学習（PLL）手法が、グローバルなインスタンス関係を無視するか、インスタンス-ラベル割り当ての共起を明示的にモデル化できないという限界を克服する。
• インスタンス関係と最適なインスタンス-ラベル割り当てを同時にモデル化できるように、PLLを構造的マッチング選択問題に再定式化する。
• 複数のインスタンスが同じラベルにマッピングされるというPLL固有の多対一制約を扱えるグラフマッチングフレームワークを開発する。
• 不確実性を許容する緩和されたグラフマッチング予測モデルを用いて、ノイズの多い候補ラベルに対してより頑健で一般化性能の高い予測を向上させる。

提案手法

• 正しく割り当てられるラベル割り当てを特定すべきマッチングとみなすことで、部分ラベル学習をインスタンス-ラベルマッチング選択問題に再定式化する。
• 従来の1対1の確率的グラフマッチング方式を拡張し、複数のインスタンスが1つのラベルにマッピングされる状況を扱える多対一制約付きのグラフマッチングアルゴリズムを提案する。
• インスタンスレベルの類似度とラベルの共起パターンを統合したグラフ構造を構築し、データ全体における関係性をモデル化する。
• ラベル割り当ての不確実性を許容する緩和されたグラフマッチング予測モデルを導入し、ノイズの多い候補ラベルに対して頑健性を向上させる。
• マッチングの過程で有用な情報を保持しつつノイズをフィルタリングするため、しきい値パラメータβを用いてトレードオフを制御する。
• 交差検証による検証を経て、未知のインスタンスの候補ラベル数rを、総ラベル数と平均ラベル数に基づく式により決定する。

実験結果

リサーチクエスチョン

• RQ1 インスタンス-ラベル割り当てをマッチングとみなすことにより、グラフマッチングを部分ラベル学習問題に効果的に適応できるか？
• RQ2 PLLに内在する多対一制約を、確率的グラフマッチングフレームワークに形式的に統合する方法は何か？
• RQ3 インスタンス関係とラベル共起パターンの両方を組み込むことで、PLLにおける曖昧性の解消と予測精度の向上が達成できるか？
• RQ4 緩和されたグラフマッチング予測モデルは、標準的なマッチングアプローチと比較して、頑健性と性能を向上させられるか？
• RQ5 β や r などのハイパーパrameter が、多様なデータセットにおけるモデルの一般化性能と性能に与える影響は何か？

主な発見

• GM-PLLは、合成データおよび実世界のデータセットの両方で、最先端のPLL手法と比較して優れたまたは競争力のある性能を達成した。
• ノイズフィルタリングの最適しきい値βは交差検証により決定され、データセットごとに0.3から0.8の範囲に分布しており、データセット固有の感度が示された。
• 未知インスタンスの候補ラベル数rは、経験的に予測可能な傾向に従っており、式 (10) で計算されたr*は、多数のデータセットで経験的に最適なr**とよく一致した。
• UCIデータセットの多くでは、GM-PLLの総実行時間が30秒未満に収まり、すべての実世界データセットでは1.5時間未満に留まった。これは、計算効率が十分に高いことを示している。
• GM-PLLのテスト時間は最小限に抑えられており、SoccerPlayerデータセットでは最長で422秒の推論時間にとどまり、推論におけるスケーラビリティが確認された。
• すべての実世界データセットにおいて、GM-PLLの総実行時間はPL-LEAFの1/10にまで短縮され、一部の先行手法と比較して顕著な効率改善が示された。