[논문 리뷰] Contextualized Non-local Neural Networks for Sequence Learning

Pengfei Liu, Shuaichen Chang외 3명|arXiv (Cornell University)|2018. 11. 21.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 자기주의 어텐션(Transformer)와 그래프 신경망(GNN)을 결합하여 작업에 맞는 문장 구조를 동적으로 학습하는 새로운 아키텍처인 Contextualized Non-local Neural Networks(CN³)를 제안한다. 국소적 단어 의존성과 비국소적 장거리 어텐션을 통합함으로써, CN³는 10개의 NLP 작업 전반에서 최신 기술 수준 또는 경쟁력 있는 성능을 달성하면서도 해석 가능한, 작업에 따라 달라지는 의존성 구조를 제공한다.

ABSTRACT

Recently, a large number of neural mechanisms and models have been proposed for sequence learning, of which self-attention, as exemplified by the Transformer model, and graph neural networks (GNNs) have attracted much attention. In this paper, we propose an approach that combines and draws on the complementary strengths of these two methods. Specifically, we propose contextualized non-local neural networks (CN$^{ extbf{3}}$), which can both dynamically construct a task-specific structure of a sentence and leverage rich local dependencies within a particular neighborhood. Experimental results on ten NLP tasks in text classification, semantic matching, and sequence labeling show that our proposed model outperforms competitive baselines and discovers task-specific dependency structures, thus providing better interpretability to users.

연구 동기 및 목표

• Transformer가 국소적 의존성을 포착하는 데에 한계가 있고, GNN가 순차 학습을 위한 민첩하고 작업 적응형 구조를 갖추지 못한다는 점을 해결하기 위해.
• 기존 모델의 고정된 구조적 편향을 극복하기 위해 작업 요구사항에 따라 동적으로 문장 그래프를 학습함으로써.
• 국소적 문맥 표현과 비국소적 어텐션을 통합하여 복잡한 문장 구조와 단어 의존성을 개선함으로써.
• 입력 시퀀스에서 작업에 특화된 의존 패턴을 발견하고 시각화함으로써 모델의 해석 가능성 향상.
• 학습된 엣지 가중치와 속성 인식 메시지 전파를 통해 구조적 해석 가능성을 유지하면서 다양한 NLP 작업에서 뛰어난 성능을 입증함.

제안 방법

• 모든 단어 쌍을 잠재적 연결으로 간주함으로써 자기주의 어텐션 메커니즘을 그래프 신경망으로 확장하여 비국소적 의존성 학습을 가능하게 한다.
• 작업에 맞는 관계를 동적으로 표현하는 학습 가능한 엣지 가중치를 도입하여 고정된 문법적 또는 의존성 구조를 대체한다.
• 노드 및 엣지 속성(예: 품사 태그, 의존 관계 등)을 메시지 전파에 통합하여 국소적 표현을 풍부하게 한다.
• 차별 가능한 어텐션 기반 집합 기반 메커니즘을 사용하여 국소적 및 전반적 의존성을 통합한 문맥 기반 표현을 계산한다.
• 시퀀스 분류, 매칭, 레이블링 작업에서 표준 NLP 손실 함수(예: 교차 엔트로피)를 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 학습된 엣지 가중치를 시각화함으로써 해석 가능한 언어 패턴(예: 질문 패턴 또는 문법 조각)을 드러내어 해석 가능성 확보.

실험 결과

연구 질문

• RQ1 동적으로 문장 구조를 학습하는 모델이 고정된 구조 모델보다 순차 학습 과제에서 더 나은 성능을 내는가?
• RQ2 국소적 및 비국소적 편향이 다양한 NLP 과제에서 성능 향상에 어떻게 공동 기여하는가?
• RQ3 학습된 엣지 가중치가 얼마나 해석 가능한, 작업에 특화된 언어 패턴을 드러내는가?
• RQ4 노드 및 엣지 속성이 모델이 시퀀스 내 의미 있는 의존성을 포착하는 데에 어떤 영향을 미치는가?
• RQ5 GNN 방식의 국소적 메시지 전파와 Transformer 방식의 전역 어텐션을 통합하면 더 나은 문맥 기반 표현을 얻을 수 있는가?

주요 결과

• CN³는 텍스트 분류, 의미 매칭, 시퀀스 레이블링 등 10개의 NLP 과제에서 경쟁력 있는 베이스라인을 초월하여 광범위한 효과성을 입증한다.
• 모델은 질문 분류 과제에서 'What ... birthday'와 같은 패턴을 발견하며, 이는 정확한 예측에 필수적인 작업에 특화된 의존성 구조이다.
• 의미 매칭 과제에서는 'is rising from' 및 'is coming out of'와 같은 문법적으로 의미 있는 하위 구조를 학습하며, 이는 함의 예측에 핵심적이다.
• 의존 관계 등 엣지 속성을 포함한 모델은 이를 포함하지 않은 모델보다 더 높은 성능을 보이며, 속성 인식 학습이 구조 탐색에 기여함을 보여준다.
• 시각화 결과는 학습된 엣지 가중치가 질문 어휘와 그 대상 간 강한 연결을 반영하는 등 해석 가능한 언어 패턴을 반영함을 확인한다.
• 제거 실험 결과, 표준 Transformer의 국소적 편향 부족이 특히 시퀀스 레이블링 과제에서 성능을 제한한다는 점을 확인하였으며, CN³는 GNN 방식의 국소적 인덕티브 편향을 통해 이를 극복한다.