[論文レビュー] From Known to Unknown: Quality-aware Self-improving Graph Neural Network for Open Set Social Event Detection

Jiaqian Ren, Lei Jiang+5 more|arXiv (Cornell University)|Aug 15, 2022

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本稿では、既知のイベント表現を活用して未知のイベントへの信頼性の高い知識移行を促進することにより、オープンセット社会的イベント検出のための品質認識型自己改善型グラフニューラルネットワーク（QSGNN）を提案する。直交制約を備えた厳密なペairワイズ損失を導入し、参照類似度分布ベクトルを用いて仮ラベル生成、多様性に基づくサンプリング、品質認識型最適化を実施することで、QSGNNは閉じたセットおよびオープンセットの両ベンチマークで最先端の性能を達成した。

ABSTRACT

State-of-the-art Graph Neural Networks (GNNs) have achieved tremendous success in social event detection tasks when restricted to a closed set of events. However, considering the large amount of data needed for training a neural network and the limited ability of a neural network in handling previously unknown data, it remains a challenge for existing GNN-based methods to operate in an open set setting. To address this problem, we design a Quality-aware Self-improving Graph Neural Network (QSGNN) which extends the knowledge from known to unknown by leveraging the best of known samples and reliable knowledge transfer. Specifically, to fully exploit the labeled data, we propose a novel supervised pairwise loss with an additional orthogonal inter-class relation constraint to train the backbone GNN encoder. The learnt, already-known events further serve as strong reference bases for the unknown ones, which greatly prompts knowledge acquisition and transfer. When the model is generalized to unknown data, to ensure the effectiveness and reliability, we further leverage the reference similarity distribution vectors for pseudo pairwise label generation, selection and quality assessment. Following the diversity principle of active learning, our method selects diverse pair samples with the generated pseudo labels to fine-tune the GNN encoder. Besides, we propose a novel quality-guided optimization in which the contributions of pseudo labels are weighted based on consistency. We thoroughly evaluate our model on two large real-world social event datasets. Experiments demonstrate that our model achieves state-of-the-art results and extends well to unknown events.

研究の動機と目的

• 継続的に新規イベントカテゴリが出現するオープンセット設定において、グラフニューラルネットワーク（GNN）の未知の社会的イベントへの一般化能力を向上させること。
• 閉じた世界の仮定に依存する従来のGNN手法が、未観測のイベントタイプに一般化できないという限界を克服すること。
• 新しいペアワイズ損失と直交制約を導入することで、限られたラベル付きデータからの特徴学習をより厳密に分離し、クラス間の分離性を高めること。
• 参照類似度分布ベクトルを用いて仮ラベルを生成・評価することで、既知のイベントから未知のイベントへの信頼性の高い知識移行を可能にすること。
• 自己改善プロセス中に多様性駆動型サンプル選択と品質ガイドド損失最適化を実施することで、モデルの頑健性と適応性を向上させること。

提案手法

• 標準的な三重項損失やクロスエントロピー損失を上回る、クラス間分離性を向上させるために、直交制約を備えた厳密なペアワイズ損失を提案し、GNNエンコーダーにおける識別的特徴学習を強化する。
• 既知のイベント表現から参照類似度分布（RSD）ベクトルを構築し、未知のサンプルのラベリングに信頼性の高い基準を提供する。
• RSDベクトルとの類似度を比較することで、未知のサンプルの仮ラベルを生成し、人的アノテーションなしで自己教師あり学習を可能にする。
• 多様性に基づくサンプリング戦略を実装し、多様でエントロピーの高い未知イベントペアを選択することで、一般化性能の向上と冗長性の回避を図る。
• 仮ラベルの寄与度を整合性スコアに基づいて重み付けする品質認識型最適化戦略を導入し、ノイズを低減し、微調整の信頼性を向上させる。
• 反復的に情報量が多く、多様で高品質な仮ラベルを持つサンプルを選択することで、自己改善ループ内でGNNエンコーダーを微調整するアクティブラーニングの原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 既知のイベントにおける特徴学習をどのように改善すれば、オープンセット社会的イベント検出における未知のイベントへの移行をより効果的に支援できるか？
• RQ2 既知のイベントから得られる参照類似度分布ベクトルは、未知のイベントに対する信頼性の高い仮ラベル生成にどの程度寄与できるか？
• RQ3 未知イベントペアの多様性に基づくサンプリング戦略は、オープンセット設定におけるモデルの一般化性能にどのように影響を与えるか？
• RQ4 仮ラベルの整合性に基づく品質評価は、GNNにおける自己改善の信頼性を顕著に向上させられるか？
• RQ5 ノイズや不確実性を含む仮ラベル付き未知データに対する微調整において、品質認識型損失最適化はモデルの頑健性と性能を向上させるか？

主な発見

• QSGNNは、2つの大規模な実世界の社会的イベント検出データセットにおいて、既存の閉じたセットおよびオープンセットベースラインを上回る最先端の性能を達成した。
• 直交制約を備えた提案されたペアワイズ損失は、クラス間分離性を顕著に向上させ、標準的な三重項損失やクロスエントロピー損失を上回る識別的表現を実現した。
• RSDベクトルを用いた仮ラベル生成により、予測ラベルと真のラベルの整合性が向上し、正例の類似度は上昇し、負例の類似度は低下した。
• 多様性に基づくサンプリング戦略は、アブレーションスタディでランダムサンプリングに置き換えられた場合に顕著な性能低下を示すなど、モデルの一般化性能の向上に寄与した。
• 整合性に基づいて仮ラベルの寄与度を重み付けする品質認識型最適化は、顕著な性能向上をもたらし、ノイズ低減と微調整の安定性向上におけるその重要性を実証した。
• 整合性値の分布から、極端な整合性値（>0.5 または <0.5）を持つ仮ラベルが最も信頼性が高く、0.5付近の値は極めて曖昧であることが判明し、品質評価メカニズムの有効性が裏付けられた。