[論文レビュー] Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing

Hanlu Wu, Tengfei Ma+2 more|arXiv (Cornell University)|Oct 25, 2020

Mobile Crowdsensing and Crowdsourcing参考文献 61被引用数 4

ひとこと要約

本稿では、作業者とタスクの相互作用を、新しいアテンションメカニズムを通じて作業者とタスクの潜在的相関を学習することでモデル化する、異種グラフニューラルネットワーク（HGNN）フレームワークを提案する。同種アテンション層を用いて作業者間およびタスク間の依存関係を統合することで、13の実世界データセットにおいてラベル集約で最先端の性能を達成し、従来の手法に比べて精度とロバスト性において顕著に優れている。

ABSTRACT

Crowdsourcing has attracted much attention for its convenience to collect labels from non-expert workers instead of experts. However, due to the high level of noise from the non-experts, an aggregation model that learns the true label by incorporating the source credibility is required. In this paper, we propose a novel framework based on graph neural networks for aggregating crowd labels. We construct a heterogeneous graph between workers and tasks and derive a new graph neural network to learn the representations of nodes and the true labels. Besides, we exploit the unknown latent interaction between the same type of nodes (workers or tasks) by adding a homogeneous attention layer in the graph neural networks. Experimental results on 13 real-world datasets show superior performance over state-of-the-art models.

研究の動機と目的

• 単純な多数決投票を超えて、クラウドソーシングにおけるノイズの多いラベルの課題を解決すること。
• 従来の手法が捉えきれない複雑で多次元的な作業者およびタスクの関係をモデル化すること。
• 明示的なタスク特徴量を必要としない表現学習フレームワークを構築することで、汎用性とスケーラビリティを向上させること。
• 作業者同士およびタスク同士の潜在的相関を統合することで、真のラベルの推論を改善すること。

提案手法

• 作業者とタスクを2種類のノードタイプとして持つ異種グラフを構築し、ラベル付与の割り当てを示すエッジで接続する。
• メッセージパッシンググラフニューラルネットワーク（MP-GNN）を適用し、作業者・タスク相互作用における近隣情報の集約を実行する。
• 同種ノード（作業者またはタスク）間の潜在的相関をモデル化するための新規同種アテンション層（COR層）を導入し、作業者間およびタスク間の依存関係を捉える。
• MP2 + COR + MP2の多層構造を用いて、反復的にノード表現を精緻化し、真のラベルを予測する。
• 教師ラベルが推論時にも不要であるように、ラベル付きデータ上で交差エントロピー損失を用いてモデルをエンドツーエンドで訓練する。
• 最終評価における性能と汎用性のバランスを図るため、すべてのデータセットで隠れ層次元を30に固定する。

実験結果

リサーチクエスチョン

• RQ1 異種グラフニューラルネットワークは、クラウドソーシングにおける作業者・タスク相互作用を効果的にモデル化し、ラベル集約を改善できるか？
• RQ2 作業者同士およびタスク同士の潜在的相関は、真のラベル推定の精度にどのように影響するか？
• RQ3 同種アテンション層によるノード間依存関係の統合は、標準的なメッセージパッシングGNNよりも性能を向上させるか？
• RQ4 多様な実世界データセットにおいて、提案手法は最先端のラベル集約モデルと比較してどのように差をつけるか？
• RQ5 明示的なタスク特徴量や真のラベルを必要としない場合、モデルはどの程度一般化できるか？

主な発見

• MP2+COR+MP2モデルは、13の全データセットで最高の平均精度を達成し、ベースラインモデルを顕著に上回った。
• ウェブデータセットでは、97.34%の精度を達成し、次に優れたモデルを1.5ポイント以上上回った。
• COR層は13のデータセットのうち8つで性能向上を示し、作業者およびタスク間の潜在的相関をモデル化することの価値を裏付けた。
• 訓練データがたった5%でも強力な性能を発揮したため、高いデータ効率性を示した。
• アブレーションスタディにより、COR層は2ホップのメッセージパッシングを超える独自の利点を提供しており、長距離依存関係を捉えられることを確認した。