[논문 리뷰] Position-aware Self-attention with Relative Positional Encodings for Slot Filling

Ivan Bilan, Benjamin Roth|arXiv (Cornell University)|2018. 07. 09.

Tactile and Sensory Interactions참고 문헌 11인용 수 21

한 줄 요약

이 논문은 관계 추출에서 슬롯 채우기 위해 상대적 위치 인코딩과 위치 인식 주의층을 갖춘 자기주의 기반 모델을 제안한다. LSTMs를 자기주의 인코더로 대체하고 상대적 위치 인코딩을 통합함으로써, 이 모델은 TACRED 데이터셋에서 이전 방법들을 능가하는 최신 기술 성능(SOTA)을 달성하며, 순수하게 주의 메커니즘에 의존한다.

ABSTRACT

This paper describes how to apply self-attention with relative positional encodings to the task of relation extraction. We propose to use the self-attention encoder layer together with an additional position-aware attention layer that takes into account positions of the query and the object in the sentence. The self-attention encoder also uses a custom implementation of relative positional encodings which allow each word in the sentence to take into account its left and right context. The evaluation of the model is done on the TACRED dataset. The proposed model relies only on attention (no recurrent or convolutional layers are used), while improving performance w.r.t. the previous state of the art.

연구 동기 및 목표

• 순수하게 주의 기반 모델을 개발하여 관계 추출에서 순환 또는 컨볼루션 구성 요소를 피한다.
• 문장 내 주어와 목적어의 위치를 고려하는 위치 인식 주의를 통합함으로써 슬롯 채우기 성능을 향상시킨다.
• 절대 위치 인코딩을 상대적 위치 인코딩으로 대체하여 자기주의 메커니즘을 향상시켜 토큰 간 관계를 더 잘 모델링한다.
• 활성화 함수, 가중치 초기화, 레이어 구성과 같은 아키텍처 수정 사항이 관계 분류 성능에 미치는 영향을 평가한다.

제안 방법

• 모델은 각 토큰의 왼쪽 및 오른쪽 컨텍스트를 모델링하기 위해 상대적 위치 인코딩의 커스터마이징된 구현을 사용하는 자기주의 인코더를 사용한다.
• 자기주의 인코더 위에 위치 인식 주의층을 추가하여 쿼리 토큰과 목적어 토큰 간의 상호작용과 그 상대적 위치를 명시적으로 모델링한다.
• 상대적 위치 인코딩은 먼 토큰들을 더 큰 박스로 그룹화하는 바이닝 전략을 사용하여 일반화 성능을 향상시킨다.
• 각 인코더 레이어에서 다중 헤드 자기주의를 사용하며, 쿼리, 키, 밸류 변환을 수행한 후 피드포워드 네트워크를 적용한다.
• 주의 메커니즘은 쿼리와 키 간의 내적곱을 소프트맥스 정규화된 점수로 계산하여 값에 대한 가중치 출력을 생성한다.
• 최종 분류 헤드는 컨텍스트 인식 표현을 사용하여 42개의 사전 정의된 관계 또는 'no_relation'를 예측한다.

실험 결과

연구 질문

• RQ1 자기주의 전용 아키텍처가 슬롯 채우기의 관계 추출에서 LSTMs와 같은 순차 기반 모델을 능가할 수 있는가?
• RQ2 이 작업에서 자기주의에 대해 절대 위치 인코딩 대비 상대적 위치 인코딩을 사용할 경우 성능 향상이 어떻게 이루어지는가?
• RQ3 자기주의 인코더와 함께 위치 인식 주의층을 추가하면 성능 향상이 어느 정도 이루어지는가?
• RQ4 활성화 함수, 가중치 초기화, 레이어 깊이와 같은 아키텍처 선택 사항이 모델 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 이전의 SOTA 방법(예: LSTMs 또는 하이브리드 아키텍처 사용)을 능가하는 성능을 TACRED 데이터셋에서 달성한다.
• 절대 인코딩 대신 상대적 위치 인코딩을 사용할 경우 F₁ 스코어가 0.2% 향상되어 장거리 의존성을 모델링하는 데 효과적임을 입증한다.
• 자기주의 인코더만으로도 높은 재현율(85.4%)을 달성하지만 정밀도는 26.7%에 불과하여 성능 균형을 맞추기 위해 추가적인 감독이 필요함을 시사한다.
• RReLU를 ReLU로 대체하면 F₁ 스코어가 0.3% 감소하여 RReLU가 약간이지만 일관된 성능 우위를 제공함을 보여준다.
• Xavier 대신 Kaiming 가중치 초기화를 사용할 경우 F₁ 스코어에는 변화가 없지만 정밀도가 약간 향상되어 전체 성능에 미치는 영향은 미미함을 시사한다.
• 자기주의 인코더와 LSTM을 조합하여 은닉 상태를 계산해도 성능 향상이 유의미하지 않아, 자기주의 구성 요소만으로도 충분함을 시사한다.