[論文レビュー] Topic Model Based Multi-Label Classification from the Crowd

Divya Padmanabhan, Satyanath Bhat+2 more|arXiv (Cornell University)|Apr 4, 2016

Text and Document Classification Technologies参考文献 1被引用数 3

ひとこと要約

本論文は、ラベル相関を捉えるためにラベルの存在と不在の両方を明示的にモデル化する、マルチラベル分類のための新規トピックモデルML-PA-LDAを提案する。さらに、ノイズが多く、異種のクラウドワーカーのラベルを扱い、アノテータの品質を同時に学習するML-PA-LDA-Cに拡張し、最小限の学習データでも実世界のデータセットで優れた性能を達成する。

ABSTRACT

Multi-label classification is a common supervised machine learning problem where each instance is associated with multiple classes. The key challenge in this problem is learning the correlations between the classes. An additional challenge arises when the labels of the training instances are provided by noisy, heterogeneous crowdworkers with unknown qualities. We first assume labels from a perfect source and propose a novel topic model where the present as well as the absent classes generate the latent topics and hence the words. We non-trivially extend our topic model to the scenario where the labels are provided by noisy crowdworkers. Extensive experimentation on real world datasets reveals the superior performance of the proposed model. The proposed model learns the qualities of the annotators as well, even with minimal training data.

研究の動機と目的

• マルチラベル分類におけるラベル相関をモデル化する課題、特に欠落ラベルの情報的役割に取り組む。
• 分類性能を向上させるために、クラスの存在と不在の両方を組み込む生成的トピックモデルを開発する。
• アノテータの品質が未知であり、学習が必要なノイズが多く、異種のクラウドワーカーのラベルを扱えるようにモデルを拡張する。
• アノテータが文書のすべてのラベルをラベル付けしない部分ラベル付けの状況でも効果的に学習できるようにする。
• 訓練データ量やアノテータ品質の変動に伴う、モデルの頑健性と正確性を実世界のデータセットで検証する。

提案手法

• ML-PA-LDAは、存在するラベルと存在しないラベルの両方がトピック生成に寄与するトピックモデルであり、従来の手法よりもラベル相関をより効果的にモデル化する。
• ノイズのあるクラウドラベルの存在下で、潜在的トピック、ラベル割り当て、アノテータ品質を推論する非共役変分EMアルゴリズムを導入する。
• 各ドキュメントを、単語の多項分布とラベル存在/不在の多項分布に関連付けるトピックの混合としてモデル化する。
• 個々のアノテータの品質パラメータ（ρ）を学習することで、アノテータ固有の誤差モデルを導入し、ラベリングの信頼性を反映する。
• ラベル割り当てを変分推論により推論する確率的フレームワークを採用し、トピック、ラベル、アノテータ品質のエンドツーエンド学習を可能にする。
• 部分ラベル付けをサポートする：アノテータは文書のすべてのラベルをラベル付けする必要がなく、実世界のクラウドソーシング環境に実用的である。

実験結果

リサーチクエスチョン

• RQ1 ラベルの不在をモデル化することで、ラベル存在のみを考慮するモデルと比較してマルチラベル分類性能が向上するか？
• RQ2 ノイズのあるクラウドラベルから、潜在的トピック、ラベル割り当て、アノテータ品質を同時に学習できるトピックモデルは存在するか？
• RQ3 訓練データが限られ、アノテータの品質がばらついている状況でも、モデルの性能はどの程度か？
• RQ4 悪意のあるまたは低品質のアノテータが存在する状況でも、モデルは頑健性を保っているか？
• RQ5 トピック数や訓練データ量を増やすことで性能がどの程度向上するか、特にデータが不足する状況でどうなるか？

主な発見

• Reutersデータセットにおいて、100%の訓練データを使用した場合、ML-PA-LDA-Cは平均正解率0.942、マイクロ-F1 0.669を達成し、わずかにノイズのあるクラウドラベルしか使用しないにもかかわらずSLDAを上回った。
• 100%の訓練データを使用した場合、アノテータ品質の推定において平均Ann RMSEが0.009にとどまり、品質推定の高精度を示した。
• 訓練データが増えると性能が向上し、データが不足する状況ではオッカムの剃刀に従った傾向を示したが、十分なデータがある場合にはトピック数の増加が性能向上に寄与した。
• 訓練データの10%のみを使用しても、ML-PA-LDA-Cは92.7%の正解率と61.6%のマイクロ-F1を達成し、最小限の教師信号でも優れた性能を示した。
• 10%のアノテータがρ < 0.5の悪意のある状況でも、平均正解率95.5%、Ann RMSE 0.002を維持し、高い頑健性を示した。
• ノイズのあるラベルで学習した場合でも、ML-PA-LDA-CはSLDAを常に上回り、非クラウド版（ML-PA-LDA）と同等の性能を示した。