[논문 리뷰] Neural Sentence Ordering Based on Constraint Graphs

Yutao Zhu, Kun Zhou외 3명|arXiv (Cornell University)|2021. 01. 27.

Topic Modeling참고 문헌 38인용 수 7

한 줄 요약

이 논문은 국소적이고 전반적인 순서 정보를 포착하기 위해 다중 분해능 제약 그래프를 활용하는 신경 문장 순서 정렬 모델을 제안한다. 그래프 이sovomorphism 네트워크(GINs)를 사용하여 문장 표현과 상대적 순서 제약 조건을 융합한다. 이 방법은 다양한 거리에서의 세밀한 순서 신호를 효과적으로 통합함으로써 다섯 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Sentence ordering aims at arranging a list of sentences in the correct order. Based on the observation that sentence order at different distances may rely on different types of information, we devise a new approach based on multi-granular orders between sentences. These orders form multiple constraint graphs, which are then encoded by Graph Isomorphism Networks and fused into sentence representations. Finally, sentence order is determined using the order-enhanced sentence representations. Our experiments on five benchmark datasets show that our method outperforms all the existing baselines significantly, achieving a new state-of-the-art performance. The results demonstrate the advantage of considering multiple types of order information and using graph neural networks to integrate sentence content and order information for the task. Our code is available at https://github.com/DaoD/ConstraintGraph4NSO.

연구 동기 및 목표

• 기존 문장 순서 정렬 방법이 국소적 쌍별 순서와 전반적 맥락적 의존성을 동시에 모델링하지 못하는 한계를 해결하기 위해.
• 다양한 문장 간 거리에서 나타나는 순서 정보의 다양한 유형이 체계적으로 포착되고 통합될 수 있는지 조사하기 위해.
• 다양한 분해능 기반의 다중 제약 그래프를 통해 상대적 순서 선호도를 모델링하여 문장 순서 정렬 성능을 향상시키기 위해.
• 그래프 신경망이 이질적인 순서 신호를 통합하여 풍부한 문장 표현으로 융합할 수 있음을 보여주기 위해.
• 학습 가능한 다중 분해능 제약 그래프 프레임워크를 사용하여 문장 순서 정렬 분야의 새로운 최신 기준 베이스라인을 수립하기 위해.

제안 방법

• 이 방법은 세 가지 별도의 제약 그래프를 구성한다: 즉시 후행 관계(거리 1)에 대한 그래프, 먼 거리의 순서 관계(거리 >1)에 대한 그래프, 그리고 전반적 위치 제약 조건(예: '마지막으로'는 문장 시퀀스의 끝을 나타냄)에 대한 그래프.
• 각 제약 그래프는 문장 쌍 간의 상대적 순서를 그들의 의미적 및 논의적 특징 기반으로 예측하기 위해 별도의 분류기로 훈련하여 구축된다.
• 그래프 이sovomorphism 네트워크(GINs)는 각 제약 그래프에 적용되어 이웃 정보를 집계함으로써 국소적 및 전반적 순서 의존성을 포착한다.
• 모든 세 그래프의 표현을 연결하여 최종 분류기에 입력하여 전체 문장 순서를 예측한다.
• 프리트레인된 언어 모델인 BERT, RoBERTa, ALBERT를 프레임워크가 지원하며, 첫 번째 단계에서 제약 예측 성능 향상을 위해 피나이팅(fine-tuning)이 적용된다.
• 최종 순서 예측 작업에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련하며, 아블레이션 스터디를 통해 각 그래프 유형의 기여도를 검증한다.

실험 결과

연구 질문

• RQ1 즉각적인 후행, 먼 거리의 순서, 전반적 위치와 같은 다중 분해능에서의 문장 순서 모델링이 문장 순서 정렬 성능 향상에 기여하는가?
• RQ2 그래프 신경망이 다수의 제약 그래프에서 유래한 이질적인 순서 신호를 통합하여 통합된 문장 표현으로 융합하는 데 얼마나 효과적인가?
• RQ3 제안된 방법이 쌍별 분류나 자동 회귀 디코딩에 의존하는 기존 신경 기반 기준 모델을 모두 능가하는가?
• RQ4 다양한 프리트레인된 언어 모델(BERT, RoBERTa, ALBERT 등)이 제약 예측 단계의 성능에 얼마나 기여하는가?
• RQ5 문장 순서의 일관성에 핵심적인 역할을 하는 첫 번째 문장과 마지막 문장 예측 능력이 이전 연구와 비교해 얼마나 뛰어나며, 그 정도는 어떠한가?

주요 결과

• 제안된 모델은 다섯 가지 벤치마크 데이터셋에서 최신 기준 성능을 달성하였으며, AAN에서는 평균 Kendall’s tau가 0.8236, SIND에서는 0.5856을 기록하여 모든 이전 기준 모델을 능가했다.
• 아블레이션 스터디 결과, 세 제약 그래프를 모두 조합한(g1+g2+g3) 경우가 가장 높은 성능을 보였으며, 개별 그래프도 최종 결과에 의미 있는 기여를 했다.
• AAN 데이터셋에서 첫 번째 문장 예측 정확도는 91.47%로, 이는 다음으로 높은 성능을 기록한 B-Tsort보다 1.86% 높았고, 마지막 문장 예측 정확도는 80.35%로 1.78% 높았다.
• 첫 번째 단계에서 BERT를 피나이팅하면 약간의 성능 향상이 발생하여, 작업에 특화된 적응이 제약 예측 성능 향상에 기여함을 시사한다.
• GIN을 GCN으로 대체하면 성능이 약간 떨어지며(예: AAN에서 0.8206 대비 0.8236), 이는 GIN이 제약 그래프의 구조적 특징을 더 잘 포착할 수 있음을 보여준다.
• t-SNE 시각화 결과, 훈련 후 모델의 문장 표현은 BERT의 원본 임베딩보다 더 강한 순서 인식 구조를 포함하고 있음을 확인하여, 모델이 표현에 순서 정보를 효과적으로 통합할 수 있음을 검증한다.