[논문 리뷰] Modeling Multi-level Context for Informational Bias Detection by Contrastive Learning and Sentential Graph Network

Shijia Guo, Kenny Q. Zhu|arXiv (Cornell University)|2022. 01. 25.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대조 학습과 그래프 자기주의 주의망(Attention Networks)을 사용하여 인접 문장, 전체 기사, 다중 미디어 이벤트 보도 등 다중 수준의 맥락을 통합하는 새로운 모델인 MultiCTX를 제안한다. 이 모델은 F1 스코어 46.08을 기록하며 이전 최고 성능(SOTA) 모델(44.10)을 크게 앞서며, 어휘적 단서를 초월해 다중 수준의 맥락이 편향 탐지에 기여함을 입증한다.

ABSTRACT

Informational bias is widely present in news articles. It refers to providing one-sided, selective or suggestive information of specific aspects of certain entity to guide a specific interpretation, thereby biasing the reader's opinion. Sentence-level informational bias detection is a very challenging task in a way that such bias can only be revealed together with the context, examples include collecting information from various sources or analyzing the entire article in combination with the background. In this paper, we integrate three levels of context to detect the sentence-level informational bias in English news articles: adjacent sentences, whole article, and articles from other news outlets describing the same event. Our model, MultiCTX (Multi-level ConTeXt), uses contrastive learning and sentence graphs together with Graph Attention Network (GAT) to encode these three degrees of context at different stages by tactically composing contrastive triplets and constructing sentence graphs within events. Our experiments proved that contrastive learning together with sentence graphs effectively incorporates context in varying degrees and significantly outperforms the current SOTA model sentence-wise in informational bias detection.

연구 동기 및 목표

• 개별 문장의 내용을 초월해 맥락적 단서에 크게 의존하는 문장 수준의 정보 편향 탐지 과제를 해결하기 위해.
• 인접 문장, 전체 기사, 다중 미디어 이벤트 보도 등 세 가지 수준의 맥락을 통합해 향상된 편향 탐지에 기여하는 통합 프레임워크를 구축하기 위해.
• 다양한 자료와 전반적 이벤트 이해를 조합해 인간과 유사한 추론 방식을 모방함으로써 미묘하고 맥락에 의존하는 편향을 식별하기 위해.
• 순차적 처리를 초월해 장거리 종속성과 논리적 관계를 포착할 수 있는 강력하고 해석 가능한 방법을 개발하기 위해.

제안 방법

• MultiCTX는 대조 학습을 사용해 고품질의 문장 임베딩(CSEs)을 생성하며, (대상, 양성, 음성) 샘플 트리플릿을 구성한다. 양성 샘플은 기사 수준의 통일성과 의미 유사도 기반으로 선택된다.
• 모델은 문장을 노드로, 논의 관계, 의미 유사도, 이벤트 간 실체 연속성(공호성) 기반으로 간선을 형성하는 관계 기반 문장 그래프를 구축한다.
• 자기주도 그래프 주의망(SSGAT)은 문장 그래프를 인코딩하여, 학습된 주의 가중치를 통해 먼 거리에 있더라도 맥락적으로 관련된 문장 간 영향을 주고받을 수 있도록 한다.
• 대조 학습 트리플릿 구성은 기사 수준 맥락을 통합함으로써 표면적 어휘 특징에 의존하는 것을 방지하고 의미의 정교화를 향상시킨다.
• 문장 그래프는 최소한의 문법적 분석을 사용해 구성되어 있어 토큰 수준의 의존성 그래프에 비해 노이즈가 적고 더 해석 가능성이 높다.
• 모델은 엔드 투 엔드로 문장 수준의 편향을 예측하도록 훈련되며, 손실는 대조 학습과 그래프 주의망을 통해 최적화된다.

실험 결과

연구 질문

• RQ1 인접 문장, 전체 기사, 다중 미디어 이벤트 보도 등 다양한 수준의 맥락을 통합하면 문장 수준의 정보 편향 탐지 성능이 향상되는가?
• RQ2 맥락 인식 트리플릿 구성과 함께 대조 학습이 편향 탐지에 적합한 문장 표현을 어떻게 향상시키는가?
• RQ3 논의 관계, 의미 유사도, 실체 연속성 등 다양한 문장 간 관계 중 어떤 것이 편향 탐지 성능에 가장 기여하는가?
• RQ4 주목적 기반 문장 그래프와 주의 메커니즘을 갖춘 모델이 LSTMs와 같은 순차적 모델보다 장거리 맥락 종속성을 더 잘 포착하는가?

주요 결과

• MultiCTX는 F1 스코어 46.08을 기록하며 이전 SOTA 모델(44.10)보다 2%p 향상되어 다중 수준 맥락 통합의 효과를 입증한다.
• 제거 실험 결과 실체 연속성(공호성)이 가장 중요한 간선 유형임을 확인했으며, 이 요소를 제거했을 때 성능 저하가 가장 컸다(F1=45.55).
• 논의 관계가 의미 유사도보다 더 높은 기여도를 보였으며, SSGAT에서 논의 관계 간선만 사용했을 때 F1=45.85를 기록해 전체 모델에 근접한 성능을 보였다.
• 이벤트 수준 맥락(Type 3,4 간선)이 인접성 수준 맥락(Type 1,2)보다 더 큰 기여를 했으며, 제거 실험에서 F1=45.81 vs. F1=45.53로 확인되었다.
• 문장 그래프 설계가 문법적 분석을 최소화해 노이즈를 줄였기 때문에 모델 성능이 노이즈에 대해 강건함을 입증했다.
• 결과는 다중 수준 맥락, 특히 이벤트 수준 맥락과 실체 연속성이 고립된 상태에서는 보이지 않는 비어휘적 편향을 탐지하는 데 기여함을 확인한다.