[논문 리뷰] Look Again at the Syntax: Relational Graph Convolutional Network for Gendered Ambiguous Pronoun Resolution

Yinchuan Xu, Junlin Yang|arXiv (Cornell University)|2019. 05. 21.

Topic Modeling참고 문헌 24인용 수 5

한 줄 요약

이 논문은 사전 훈련된 BERT와 게이트드 관계형 그래프 컨volution 네트워크(R-GCN)를 결합한 새로운 엔드 투 엔드 공명 해결 모델을 제안한다. 이 모델은 BERT를 미세조정하지 않고도 성별이 혼동되는 대명사 해결 성능을 향상시킨다. 문법적 의존성 그래프를 R-GCN의 입력으로 활용함으로써, 작업에 특화된 문법적 정보를 반영한 임베딩을 학습하며, 이는 표준 BERT 임베딩을 능가한다. GAP 데이터셋에서 F1 스코어 80.3%를 기록하여 이전 최고 성능 기준(66.9%)보다 13.4 포인트 높게 달성하였다.

ABSTRACT

Gender bias has been found in existing coreference resolvers. In order to eliminate gender bias, a gender-balanced dataset Gendered Ambiguous Pronouns (GAP) has been released and the best baseline model achieves only 66.9% F1. Bidirectional Encoder Representations from Transformers (BERT) has broken several NLP task records and can be used on GAP dataset. However, fine-tune BERT on a specific task is computationally expensive. In this paper, we propose an end-to-end resolver by combining pre-trained BERT with Relational Graph Convolutional Network (R-GCN). R-GCN is used for digesting structural syntactic information and learning better task-specific embeddings. Empirical results demonstrate that, under explicit syntactic supervision and without the need to fine tune BERT, R-GCN's embeddings outperform the original BERT embeddings on the coreference task. Our work significantly improves the snippet-context baseline F1 score on GAP dataset from 66.9% to 80.3%. We participated in the 2019 GAP Coreference Shared Task, and our codes are available online.

연구 동기 및 목표

• 성별 편향을 줄이기 위해 성별 균형을 잡은 GAP 데이터셋을 활용해 공명 해결 문제를 해결한다.
• GAP 데이터셋에서 스크립트-컨텍스트 기반 모델의 F1 스코어 66.9%를 초월한다.
• 계산 비용이 큰 미세조정 없이도 BERT 임베딩을 공명 해결에 활용해 향상시키는 방법을 개발한다.
• 관계형 그래프 컨볼루션을 통해 심층 학습 모델에 문법적 구조를 통합하여 작업에 특화된 표현을 향상시킨다.
• 명시적인 문법적 지도 학습이 혼동스러운 대명사 해결 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 문법적 의존성 그래프의 각 노드로 사전 훈련된 BERT 임베딩을 초기 노드 표현으로 사용한다.
• 의존성 파싱을 사용해 각 문장에 대해 방향성 있는 문법적 의존성 그래프를 구축한다.
• 그래프의 구조에 기반해 메시지 전파 및 노드 표현 갱신을 위해 게이트드 관계형 그래프 컨볼루션 네트워크(R-GCN)를 적용한다.
• 메시지 전파 과정에서 정보 흐름을 제어하고 층 간의 과도한 스무딩을 완화하기 위해 게이트 메커니즘을 사용한다.
• 최종 예측을 위해 다층 퍼셉트론(MLP)에 입력하기 전에 BERT 임베딩과 R-GCN 출력을 연결한다.
• 모델을 엔드 투 엔드로 훈련하며, 성능 추정의 정확성을 확보하기 위해 5겹 교차 검증 전략을 사용한다.

실험 결과

연구 질문

• RQ1 관계형 그래프 컨볼루션 네트워크는 BERT 임베딩을 미세조정하지 않고도 공명 해결에 효과적으로 향상시킬 수 있는가?
• RQ2 명시적인 문법적 지도 학습이 혼동스러운 대명사 해결 성능에 얼마나 기여하는가?
• RQ3 R-GCN 내의 게이트 메커니즘이 과도한 스무딩을 완화하고 문법적 그래프에서 표현 학습을 향상시키는 데 기여하는가?
• RQ4 GAP 벤치마크에서 BERT 단독 및 규칙 기반 시스템과 같은 강력한 기반 모델과 비교해 본 모델의 성능은 어떠한가?
• RQ5 BERT를 미세조정하지 않는 모델이 여전히 공명 해결 과제에서 최고 성능을 달성할 수 있는가?

주요 결과

• 제안된 모델은 전체 GAP 데이터셋에서 F1 스코어 80.3%를 기록하여 이전 최고 기준인 66.9%보다 13.4 포인트 높게 달성하였다.
• BERT 단독 추론(78.5% F1)보다 R-GCN를 통해 문법적 구조를 활용함으로써 성능이 뛰어나, 구조적 사전 지식의 가치를 입증하였다.
• 제거 실험 결과, BERT와 R-GCN 출력을 연결한 게이트드 R-GCN가 가장 뛰어난 성능(1단계에서 로그 손실 0.4936)을 기록하였다.
• R-GCN의 사용은 표현 학습을 크게 향상시켰으며, 모든 제거 설정에서 일관된 성능 향상으로 이를 입증하였다.
• 최종 공동 과제 제출 결과, 비공개 랭킹에서 로그 손실 0.394를 기록하여 모델의 강건성과 효과성을 확인하였다.
• 모델는 사전 훈련된 문맥 임베딩에 문법 정보를 효과적으로 통합할 수 있으며, 전체 미세조정 대비 계산 비용이 적은 대안을 제공함을 보여주었다.