[논문 리뷰] Graph-based Neural Sentence Ordering

Yongjing Yin, Linfeng Song외 4명|arXiv (Cornell University)|2019. 12. 16.

Topic Modeling참고 문헌 21인용 수 7

한 줄 요약

이 논문은 공유 엔티티를 통해 의미적 일관성을 포착하기 위해 문장-엔티티 그래프를 구축하는 그래프 기반 신경 문장 순서 정렬 모델을 제안한다. 그래프 순환 네트워크(GRN)를 사용하여 종속성을 인코딩하며, 이는 이전 최고 성능 모델보다 벤치마크 데이터셋에서 노이즈가 적은 문장 쌍으로부터의 영향을 줄이고 엔티티 정보를 효과적으로 활용하여 일관성 모델링을 향상시킨다.

ABSTRACT

Sentence ordering is to restore the original paragraph from a set of sentences. It involves capturing global dependencies among sentences regardless of their input order. In this paper, we propose a novel and flexible graph-based neural sentence ordering model, which adopts graph recurrent network \cite{Zhang:acl18} to accurately learn semantic representations of the sentences. Instead of assuming connections between all pairs of input sentences, we use entities that are shared among multiple sentences to make more expressive graph representations with less noise. Experimental results show that our proposed model outperforms the existing state-of-the-art systems on several benchmark datasets, demonstrating the effectiveness of our model. We also conduct a thorough analysis on how entities help the performance.

연구 동기 및 목표

• 기존 문장 순서 정렬 모델이 완전히 연결된 그래프에 의존하고 엔티티 수준의 정보를 탄력적으로 모델링하지 못하는 한계를 해결하기 위해.
• 공유 엔티티를 사용하여 더 표현력 있고 노이즈가 적은 그래프 표현을 구성함으로써 문단 일관성 모델링을 향상시키기 위해.
• 그래프 순환 네트워크(GRN)가 장거리 종속성과 의미 전이를 포착하는 데 있어 문장 순서 정렬에 어떻게 효과적인지 탐색하기 위해.
• 엔티티 정보가 문장 순서 정렬 작업에서 성능과 강건성에 크게 기여함을 입증하기 위해.

제안 방법

• 노드로 문장과 엔티티를 표현하고, 공유 엔티티를 통해 문장 간 및 문장-엔티티 간에 간선을 연결하는 문장-엔티티 그래프를 구축한다.
• 전체 문단의 맥락을 요약하기 위해 문단 수준의 노드를 사용하여, 연결된 노드를 따라 의미 전이를 수행하는 그래프 순환 네트워크(GRN)를 적용한다.
• 인코딩 과정에서의 역할을 구분하기 위해 문장 노드와 엔티티 노드에 대해 별도의 파rameterization을 도입한다.
• 최종 문단 표현을 기반으로 올바른 문장 순서를 예측하기 위해 포인터 네트워크 디코더를 사용한다.
• GRN을 개선하기 위해 엔티티 공시현출을 통합하여 비일관된 문장 쌍으로부터 발생하는 노이즈를 줄인다.
• 엣지 레이블, 엔티티 제거, 파arameter 공유의 영향을 평가하기 위해 추론 분석을 실시한다.

실험 결과

연구 질문

• RQ1 공유 엔티티를 활용하는 그래프 기반 신경 모델이 문장 순서 정렬에서 완전히 연결된 그래프 모델보다 성능이 뛰어나게 될 수 있는가?
• RQ2 엔티티 수준의 정보 통합이 문단 일관성 모델링에 어떻게 기여하는가?
• RQ3 엔티티 공시현출 기반의 그래프 구조가 모든 쌍 간 연결보다 노이즈를 얼마나 줄이는가?
• RQ4 문장 노드와 엔티티 노드에 대해 별도의 파arameter를 사용하는 것이 파arameter 공유 대비 성능 향상에 기여하는가?
• RQ5 불완전한 파싱으로 인한 엔티티 추출 노이즈에 모델이 얼마나 강건한가?

주요 결과

• 제안된 모델은 arXiv 초록 데이터셋에서 58.91%의 정확도와 44.33%의 PMR를 기록하여 이전 SOTA 모델인 ATTOrderNet을 능가하는 최고 성능을 달성한다.
• 엔티티의 50%를 제거할 경우 성능에 심각한 하락이 발생하여 엔티티 정보가 모델의 효과성에 핵심적임을 확인한다.
• 문장 수준의 그래프(S-Graph)만을 사용하는 모델 버전조차 ATTOrderNet을 능가하므로, GRN 자체가 엔티티 없이도 강력한 성능을 발휘함을 보여준다.
• 문장 노드와 엔티티 노드 간의 파arameter 공유로 인해 성능이 급격히 떨어지므로, 서로 다른 노드 유형에 대해 별도의 모델링이 필요함을 확인한다.
• 엔티티 제거 10%와 엣지 레이블 랜덤화에도 불구하고 모델이 강건성을 유지함을 확인하여, 경미한 파싱 노이즈에 대한 내성을 입증한다.
• 추론 분석을 통해 엔티티 기반 그래프 구조가 완전히 연결된 그래프보다 노이즈를 줄이고 성능을 향상시킴을 확인한다.