[논문 리뷰] A simple but tough-to-beat baseline for the Fake News Challenge stance detection task

Benjamin Riedel, Isabelle Augenstein외 2명|arXiv (Cornell University)|2017. 07. 11.

Topic Modeling참고 문헌 8인용 수 206

한 줄 요약

이 논문은 FNC-1에 대한 간단한 엔드투엔드 스탠스 감지 시스템을 제시한다. 단어 가방 특징과 작은 MLP를 사용하여 경쟁력 있는 결과를 달성하고 Fake News Challenge의 Stage 1에서 3위를 차지한다. 저자들은 단순함에도 불구하고 이를 강력한 베이스라인으로 홍보한다.

ABSTRACT

Identifying public misinformation is a complicated and challenging task. An important part of checking the veracity of a specific claim is to evaluate the stance different news sources take towards the assertion. Automatic stance evaluation, i.e. stance detection, would arguably facilitate the process of fact checking. In this paper, we present our stance detection system which claimed third place in Stage 1 of the Fake News Challenge. Despite our straightforward approach, our system performs at a competitive level with the complex ensembles of the top two winning teams. We therefore propose our system as the 'simple but tough-to-beat baseline' for the Fake News Challenge stance detection task.

연구 동기 및 목표

• 사실 확인 워크플로를 돕기 위한 FNC-1용 간단한 스탠스 감지 베이스라인의 필요성과 활용성을 동기 부여한다.
• 헤드라인과 본문 간의 스탠스를 평가하기 위해 경량화된 언어 특징을 사용한 엔드-투-엔드 시스템을 개발한다.
• 보다 복잡한 앙상블과의 비교를 통해 이 시스템을 베이스라인으로서의 입장을 평가한다.
• 스탠스 감지의 향후 베이스라인에 정보를 제공하기 위한 재현 가능한 구현 및 분석을 제공한다.

제안 방법

• 헤드라인과 본문에 대해 두 가지 bag-of-words 표현(TF 및 TF-IDF)을 추출한다.
• 헤드라인과 본문의 L2 정규화된 TF-IDF 벡터 간의 코사인 유사도를 계산한다.
• TF 및 TF-IDF 특징을 10,001 차원의 특징 벡터로 연결(concatenate)하고 ReLU 활성화가 있는 1개의 은닉층을 가진 MLP에 입력한다.
• 학습은 L2 정규화 및 드롭아웃이 포함된 교차 엔트로피 손실을 사용하고, Adam과 그래디언트 클리핑으로 최적화한다.
• 하이퍼파라미터는 데이터 분할에 대한 교차 검증과 무작위 탐색을 통해 조정된다.

실험 결과

연구 질문

• RQ1 간단한 BOW 기반 표현과 작은 신경망 분류자가 FNC-1 스탠스 감지에서 더 복잡한 앙상블과 경쟁할 수 있는가?
• RQ2 관심 주요 레이블(agree, disagree)에 대한 경량 베이스라인의 성능을 최상위 시스템과 비교하면 어떤가?
• RQ3 TF, TF-IDF와 이들의 코사인 유사도와 같은 간단한 특징이 스탠스 분류에 어떻게 기여하는가?

주요 결과

• 이 시스템은 최종 테스트 세트에서 FNC-1 점수 81.72%를 달성하여 50개 팀 중 3위를 차지했다.
• 관련/비관련 쌍을 구분하는 데 높은 정확도(96.55%)를 달성했으며, 대부분의 오분류는 더 미묘한 agree/disagree 차원에서 발생한다.
• 단순함에도 불구하고 이 방법은 최상위 앙상블 방법들과 경쟁력이 있다.
• 저자는 오픈 소스 코드를 제공하고 공개 GitHub 저장소를 통한 재현성을 주장한다.
• 베이스라인은 많은 참가자들을 능가했고 상위 두 팀을 근소한 차이로 추격했다.
• 혼동 행렬은 'agree'에 대한 평균 성능은 나타내지만 'disagree'의 성능은 더 약함을 보여준다.