[논문 리뷰] Deep Semantic Role Labeling with Self-Attention

Zhixing Tan, Mingxuan Wang외 3명|arXiv (Cornell University)|2017. 12. 05.

Topic Modeling인용 수 15

한 줄 요약

이 논문은 RNN보다 장거리 의존성과 구조적 관계를 더 효과적으로 포착할 수 있는 자기주의(self-attention) 기반 신경망인 DeepAtt를 제안한다. 이 모델은 CoNLL-2005에서 83.4, CoNLL-2012에서 82.7의 SOTA F1 스코어를 기록하며 이전 방법보다 각각 1.8점과 1.0점 높은 성능을 보였고, 단일 GPU에서 초당 50K 토큰을 처리할 수 있다.

ABSTRACT

Semantic Role Labeling (SRL) is believed to be a crucial step towards natural language understanding and has been widely studied. Recent years, end-to-end SRL with recurrent neural networks (RNN) has gained increasing attention. However, it remains a major challenge for RNNs to handle structural information and long range dependencies. In this paper, we present a simple and effective architecture for SRL which aims to address these problems. Our model is based on self-attention which can directly capture the relationships between two tokens regardless of their distance. Our single model achieves F$_1=83.4$ on the CoNLL-2005 shared task dataset and F$_1=82.7$ on the CoNLL-2012 shared task dataset, which outperforms the previous state-of-the-art results by $1.8$ and $1.0$ F$_1$ score respectively. Besides, our model is computationally efficient, and the parsing speed is 50K tokens per second on a single Titan X GPU.

연구 동기 및 목표

• 문자열 역할 레이블링에서 RNN 기반 모델이 장거리 의존성과 구조적 정보를 다루는 데에 한계가 있음을 해결하기 위해.
• 구문적 특징이나 복잡한 디코딩 메커니즘에 의존하지 않는 더 간단하고 효율적인 아키텍처를 개발하기 위해.
• 자기주의 기반 메커니즘을 사용하여 도메인 내 및 도메인 외 SRL 데이터셋에서 성능을 향상시키기 위해.
• 유지 또는 SOTA 성능를 초월하면서도 고속 추론을 달성하기 위해.

제안 방법

• 모델는 자기주의를 사용하여 거리에 관계없이 어떤 두 토큰 간의 전역적 의존성을 직접 포착하며, RNN의 O(n) 대비 O(1) 경로 길이를 제공한다.
• 구문적 특징이나 컨텍스트 윈도우 없이 원시적인 발화문과 술어 마스크를 입력으로 사용한다.
• 자기주의를 RNN, CNN, FFN의 세 가지 변형과 통합하여 표현을 풍부하게 한다.
• SRL을 BIO 태깅 문제로 간주하고, 복잡한 CRF나 제약 디코딩을 피하기 위해 로지스틱 회귀에 argmax 디코딩을 적용한다.
• 자기주의 메커니즘은 정보 흐름을 차단 없이 가능하게 하며 잠재적인 구문적 구조를 더 잘 모델링할 수 있도록 한다.
• 피드포워드 변형은 높은 병렬 처리를 가능하게 하여 단일 Titan X GPU에서 초당 50,000개 토큰의 파싱 속도를 기여한다.

실험 결과

연구 질문

• RQ1 자기주의가 RNN과 비교해 문장 역할 레이블링에서 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 구문적 입력 없이 자기주의 기반 모델이 표준 SRL 벤치마크에서 RNN 기반 모델을 능가하는가?
• RQ3 이전의 엔드 투 엔드 접근 방식과 비교해 모델은 도메인 외 데이터에서 어떻게 성능을 내는가?
• RQ4 SRL에서 CRF나 제약 디코딩보다 더 나은 또는 유사한 결과를 내는 더 단순한 디코딩 전략(argmax)이 가능한가?
• RQ5 자기주의 기반 SRL 모델의 계산 효율성은 속도 및 확장성 측면에서 어떻게 평가되는가?

주요 결과

• 제안된 DeepAtt 모델은 CoNLL-2005 데이터셋에서 F1 스코어 83.4를 기록하여 이전 SOTA보다 1.8점 높다.
• CoNLL-2012 데이터셋에서 모델은 F1 스코어 82.7을 기록하여 이전 SOTA보다 1.0점 향상되었다.
• 도메인 외 데이터셋에서 모델은 이전 엔드 투 엔드 접근 방식보다 F1 스코어 2.0점 향상되었다.
• 피드포워드 변형은 고속 추론을 가능하게 하여 단일 Titan X GPU에서 초당 50,000개 토큰을 파싱할 수 있었다.
• 혼동 행렬은 어려운 보조어순(예: AM-DIR, AM-LOC, AM-MNR)을 구분하는 데에 감소한 오류율을 보이며, 어려운 의미적 차이를 더 잘 일반화함을 시사한다.
• 모델의 성능 향상 요인은 자기주의가 RNN보다 장거리 의존성과 구조적 관계를 더 효과적으로 모델링할 수 있기 때문이라고 기인된다.