[논문 리뷰] Graph Based Semi-supervised Learning with Convolution Neural Networks to Classify Crisis Related Tweets

Firoj Alam, Shafiq Joty외 1명|arXiv (Cornell University)|2018. 05. 02.

Public Relations and Crisis Communication인용 수 17

한 줄 요약

이 논문은 한정된 레이블 데이터와 풍부한 미레이블 데이터를 활용하여 위기 관련 트윗을 분류하기 위해 Convolutional Neural Networks (CNNs)와 k-최근접 이웃 유사도 그래프를 결합한 그래프 기반의 준지도 학습 딥 러닝 프레임워크를 제안한다. 단어 임베딩에서 구축한 그래프에서 레이블 예측과 문맥 노드 예측을 동시에 활용함으로써, 준지도 기반 베이스라인 대비 절대 F-측정값 개선 폭이 5%에서 26%에 이르렀다.

ABSTRACT

During time-critical situations such as natural disasters, rapid classification of data posted on social networks by affected people is useful for humanitarian organizations to gain situational awareness and to plan response efforts. However, the scarcity of labeled data in the early hours of a crisis hinders machine learning tasks thus delays crisis response. In this work, we propose to use an inductive semi-supervised technique to utilize unlabeled data, which is often abundant at the onset of a crisis event, along with fewer labeled data. Specif- ically, we adopt a graph-based deep learning framework to learn an inductive semi-supervised model. We use two real-world crisis datasets from Twitter to evaluate the proposed approach. Our results show significant improvements using unlabeled data as compared to only using labeled data.

연구 동기 및 목표

• 재난 대응에서 레이블이 부족한 문제를 풍부한 레이블이 없는 소셜 미디어 데이터를 활용하여 해결하고자 한다.
• 기존의 전환형 방법과 달리, 미리 보지 못한 인스턴스로 일반화 가능한 인덕티브 준지도 학습 모델을 개발하고자 한다.
• CNN과 그래프 기반 유사도 구조를 결합하여 재난 상황에서의 트윗 분류 성능을 향상시키고자 한다.
• 다양한 수준의 레이블 데이터를 가진 실제 재난 데이터셋에서 제안된 방법의 효과성을 평가하고자 한다.
• 그래프 기반 인덕티브 바이어스를 갖춘 준지도 학습이 준지도 기반 베이스라인을 뛰어넘어 분류 성능을 크게 향상시킬 수 있음을 입증하고자 한다.

제안 방법

• 단어 임베딩 기반으로 k-최근접 이웃을 활용해 유사도 그래프를 구축하여 트윗 간 관계를 모델링한다.
• CNN을 사용해 단어 임베딩에서 계층적 특징을 추출하며, 필터 크기가 2, 3, 4인 필터를 적용하고 최대 풀링을 수행한다.
• 레이블 예측을 위한 손실 함수와 그래프 내 문맥 노드 예측을 위한 다른 손실 함수를 사용해 모델을 훈련한다.
• 무작위 보행 대신 유사도 기반의 이웃 선택을 사용해 문맥 예측 손실을 정의함으로써 국소적 구조 모델링을 향상시킨다.
• 분류 작업에 대해 학습률 0.1, 문맥 손실에 대해 학습률 0.001로 설정한 AdaDelta 알고리즘을 사용해 모델을 종합적으로 최적화한다.
• 검증 세트에서 F-측정값을 기반으로 25 에포크의 내성 기간을 설정한 조기 정지 기법을 적용하고, 과적합 방지를 위해 드롭아웃 비율을 0.02로 설정한다.

실험 결과

연구 질문

• RQ1 재난 발생 시 레이블 데이터가 극히 적은 상황에서 그래프 기반 준지도 딥 러닝 모델이 트윗 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 방법이 레이블이 없는 트윗을 효과적으로 활용하여 준지도 기반 베이스라인을 뛰어넘는가?
• RQ3 CNN과 그래프 기반 인덕티브 바이어스를 결합한 모델이 재난 관련 텍스트 분류 과제에서 표준 준지도 모델보다 우수한 성능을 낼 수 있는가?
• RQ4 준지도 모델이 재난 초기에 합리적인 성능을 달성하기 위해 필요한 최소한의 레이블 데이터는 어느 정도인가?
• RQ5 실제 재난 데이터셋에서 레이블 데이터와 미레이블 데이터의 양이 증가함에 따라 성능은 어떻게 변화하는가?

주요 결과

• 모든 레이블 데이터 설정에서 준지도 기반 베이스라인 대비 절대 F-측정값 개선 폭이 5%에서 26%에 이르렀다.
• 네팔 지진 데이터셋에서, 모든 레이블 데이터와 50,000개의 미레이블 트윗을 사용한 경우 F-측정값은 66.63%에 도달했고, 레이블 데이터만 사용했을 경우 60.89%였으며, 성능 향상이 뚜렷했다.
• 퀸즐랜드 홍수 데이터셋에서는 모든 레이블 데이터와 약 21,000개의 미레이블 트윗을 사용했을 때 F-측정값이 93.54%였고, 레이블 데이터만 사용했을 경우 78.92%였으며, 뚜렷한 성능 향상이 확인되었다.
• 단지 500개의 레이블 인스턴스만 있을 때도 준지도 기반 모델 대비 F-측정값에서 10% 이상 높은 성능을 기록했다.
• 최소한의 하이퍼파라미터 튜닝으로도 강력한 성능 유지를 보였으며, 이는 실시간 재난 상황에서의 강인성과 확장 가능성을 시사한다.
• 결과적으로 500개의 레이블 인스턴스와 함께 미레이블 데이터를 활용하면 재난 초기에 모델을 구동하기 위한 실용적인 기준점이 될 수 있음을 시사한다.