[논문 리뷰] From Known to Unknown: Quality-aware Self-improving Graph Neural Network for Open Set Social Event Detection

Jiaqian Ren, Lei Jiang외 5명|arXiv (Cornell University)|2022. 08. 15.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 알려진 이벤트 표현을 활용하여 알려지지 않은 이벤트로의 신뢰할 수 있는 지식 전이를 이끄는 품질 인지 자가개선 그래프 신경망(QSGNN)을 제안한다. 엄격한 쌍별 손실과 직교 제약 조건을 도입하고, 참조 유사도 분포 벡터를 사용해 가짜 레이블 생성, 다양성 기반 샘플링, 품질 인지 최적화를 수행함으로써 QSGNN은 닫힘세트 및 열림세트 벤치마크에서 최고 성능을 달성한다.

ABSTRACT

State-of-the-art Graph Neural Networks (GNNs) have achieved tremendous success in social event detection tasks when restricted to a closed set of events. However, considering the large amount of data needed for training a neural network and the limited ability of a neural network in handling previously unknown data, it remains a challenge for existing GNN-based methods to operate in an open set setting. To address this problem, we design a Quality-aware Self-improving Graph Neural Network (QSGNN) which extends the knowledge from known to unknown by leveraging the best of known samples and reliable knowledge transfer. Specifically, to fully exploit the labeled data, we propose a novel supervised pairwise loss with an additional orthogonal inter-class relation constraint to train the backbone GNN encoder. The learnt, already-known events further serve as strong reference bases for the unknown ones, which greatly prompts knowledge acquisition and transfer. When the model is generalized to unknown data, to ensure the effectiveness and reliability, we further leverage the reference similarity distribution vectors for pseudo pairwise label generation, selection and quality assessment. Following the diversity principle of active learning, our method selects diverse pair samples with the generated pseudo labels to fine-tune the GNN encoder. Besides, we propose a novel quality-guided optimization in which the contributions of pseudo labels are weighted based on consistency. We thoroughly evaluate our model on two large real-world social event datasets. Experiments demonstrate that our model achieves state-of-the-art results and extends well to unknown events.

연구 동기 및 목표

• 지속적으로 새로운 이벤트 유형이 등장하는 열림세트 환경에서 기존 그래프 신경망(GNN)의 알려지지 않은 사회 이벤트로의 일반화 문제를 해결한다.
• 기존 GNN 방법들이 닫힌 세계 가정에 의존하여 보이지 않는 이벤트 유형으로의 일반화에 실패하는 한계를 극복한다.
• 새로운 쌍별 손실과 직교 제약 조건을 통해 더 엄격한 클래스 간 분리 조건을 강제하여 제한된 레이블 데이터에서의 특징 학습을 향상시킨다.
• 참조 유사도 분포 벡터를 사용해 가짜 쌍별 레이블을 생성하고 평가함으로써 알려진 이벤트에서 알려지지 않은 이벤트로의 안정적인 지식 전이를 가능하게 한다.
• 자기개선 과정 중 다양성 기반 샘플 선택과 품질 기반 손실 최적화를 통해 모델의 강건성과 적응성을 향상시킨다.

제안 방법

• 표준 트리플릿 또는 크로스엔트로피 손실을 능가하는 더 나은 분류 특징 학습을 위해, GNN 인코더에서 클래스 간 분리 성능을 향상시키기 위해 직교 클래스 간 관계 제약 조건을 포함한 엄격한 쌍별 손실을 제안한다.
• 알려진 이벤트 표현에서 참조 유사도 분포(RSD) 벡터를 구성하여, 알려지지 않은 샘플 레이블링을 위한 신뢰할 수 있는 기반을 제공한다.
• RSD 벡터와의 유사도를 비교하여 알려지지 않은 샘플의 가짜 쌍별 레이블을 생성함으로써 인간의 레이블링 없이도 자기지도 학습을 가능하게 한다.
• 다양성 기반 샘플링 전략을 구현하여 다양하고 고엔트로피인 알려지지 않은 이벤트 쌍을 선택함으로써 일반화 성능 향상과 중복 방지를 도모한다.
• 가짜 레이블 기여도를 일관성 점수에 기반해 가중치를 조정하는 품질 인지 최적화 전략을 도입하여 노이즈를 감소시키고 미세조정의 신뢰성을 향상시킨다.
• 반복적으로 정보량이 많고 다양한 샘플을 선택하여 고품질의 가짜 레이블을 가진 GNN 인코더를 미세조정하는 자기개선 루프를 구현하기 위해 활성 학습 원리를 적용한다.

실험 결과

연구 질문

• RQ1 어떻게 알려진 이벤트에 대한 GNN의 특징 학습을 향상시켜 열림세트 사회 이벤트 탐지에서 알려지지 않은 이벤트로의 전이를 더 잘 지원할 수 있는가?
• RQ2 알려진 이벤트에서 유도된 참조 유사도 분포 벡터는 알려지지 않은 이벤트에 대해 얼마나 안정적인 가짜 레이블 생성을 가능하게 하는가?
• RQ3 알려지지 않은 이벤트 쌍에 대한 다양성 기반 샘플링 전략은 열림세트 환경에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 가짜 레이블의 일관성 기반 품질 평가가 GNN의 자기개선 과정에서 신뢰성 향상에 상당한 기여를 할 수 있는가?
• RQ5 노이즈 또는 불확실성이 있는 가짜 레이블이 부여된 알려지지 않은 데이터에 대해 품질 인지 손실 최적화가 모델의 강건성과 성능 향상에 기여하는가?

주요 결과

• QSGNN은 두 개의 대규모 실세계 사회 이벤트 탐지 데이터셋에서 기존의 닫힘세트 및 열림세트 벤치마크를 모두 능가하는 최고 성능을 달성한다.
• 직교 제약 조건을 포함한 제안된 쌍별 손실은 클래스 간 분리 성능을 크게 향상시켜 표준 트리플릿 또는 크로스엔트로피 손실보다 더 나은 분류 표현을 도출한다.
• RSD 벡터를 사용한 가짜 레이블 생성은 예측 레이블과 진짜 레이블 간 일관성 수준을 높이며, 기준선 방법 대비 양성 쌍 유사도는 증가하고 음성 쌍 유사도는 감소한다.
• 다양성 기반 샘플링 전략은 성능 저하가 발생하는 아블레이션 연구에서 랜덤 샘플링으로 대체되었을 경우에 뚜렷한 성능 저하를 보이며, 더 나은 일반화 성능을 입증한다.
• 일관성에 기반해 가짜 레이블 기여도를 가중치 조정하는 품질 인지 최적화는 성능 향상에 상당한 기여를 하며, 노이즈 감소와 미세조정 안정성 향상에 핵심적인 역할을 한다.
• 일관성 값 분포 분석 결과, 극단적인 일관성 값(>0.5 또는 <0.5)을 가진 가짜 레이블이 가장 신뢰할 수 있으며, 0.5 근처의 값은 매우 모호하여 품질 평가 메커니즘의 타당성을 검증한다.