[논문 리뷰] Multiple Range-Restricted Bidirectional Gated Recurrent Units with Attention for Relation Classification

Jonggu Kim, Jong-Hyeok Lee|arXiv (Cornell University)|2017. 07. 05.

Topic Modeling참고 문헌 15인용 수 3

한 줄 요약

이 논문은 관계 분류를 위해 다중 범위 제한형 양방향 게이트형 순환 단위(Gated Recurrent Units, GRUs)와 어텐션을 사용하는 새로운 RNN 기반 모델을 제안한다. 문장 내 명사구와 관계 구간에만 초점을 맞추며, 외부 언어학적 특징에 의존하지 않고 SemEval-2010 데이터셋에서 F1 스코어 84.3%를 달성하여 최신 기술 수준의 성능을 보였다.

ABSTRACT

Most of neural approaches to relation classification have focused on finding short patterns that represent the semantic relation using Convolutional Neural Networks (CNNs) and those approaches have generally achieved better performances than using Recurrent Neural Networks (RNNs). In a similar intuition to the CNN models, we propose a novel RNN-based model that strongly focuses on only important parts of a sentence using multiple range-restricted bidirectional layers and attention for relation classification. Experimental results on the SemEval-2010 relation classification task show that our model is comparable to the state-of-the-art CNN-based and RNN-based models that use additional linguistic information.

연구 동기 및 목표

• 수동으로 구성한 언어학적 특징에 의존하지 않고 RNN을 사용하여 관계 분류 성능을 향상시키는 것.
• 특정 문장 구간(명사구 및 관계)에 제한된 GRU 레이어가 특징 추상화에 기여하는지 조사하는 것.
• 어텐션 기반 메커니즘이 문장 내 관계 관련 구간에 집중하는 데 효과적인지 평가하는 것.
• 범위 제한 조건 하에서 명사구만 추출, 관계만 추출, 또는 둘 다 추출하는 모델 간 성능을 비교하는 것.

제안 방법

• 모델은 문장 내 각 단어를 표현하기 위해 사전에 학습된 100차원 단어 임베딩을 입력으로 사용한다.
• 세 개의 별도된 양방향 GRU 레이어를 범위 제한 조건 하에 적용한다: 첫 번째 명사구(e1)용, 두 번째 명사구(e2)용, 그리고 그 사이의 관계 구간용.
• 마스킹 기법을 통해 범위 제한을 강제하여 각 GRU가 자신이 할당된 구간만 처리하도록 하여 관련된 문법적 및 의미적 패턴에 더 집중하도록 한다.
• 어텐션은 세 개의 GRU 레이어의 최종 은닉 상태에 적용되어 관계 클래스에 대한 관련성을 기반으로 기여도를 동적으로 가중한다.
• 최종 문장 표현은 세 개의 GRU 레이어의 어텐션 처리된 출력을 연결하여 형성된다.
• 마진 기반 분류를 최적화하기 위해 랭킹 손실 함수를 사용하는 히든 층이 있는 전방향 신경망이 최종 관계 클래스 스코어를 계산한다.

실험 결과

연구 질문

• RQ1 POS 태그나 의존성 경로와 같은 외부 언어학적 특징을 사용하지 않고도 RNN 기반 모델이 관계 분류에서 경쟁적인 성능을 낼 수 있는가?
• RQ2 특정 구간(명사구 및 관계)에 제한된 GRU 레이어가 특징 추상화 및 분류 정확도 향상에 기여하는가?
• RQ3 범위 제한과 어텐션의 조합이 표준 양방향 GRU에 비해 성능에 어떤 영향을 미치는가?
• RQ4 명사구 구간과 관계 구간 중 어느 것이 올바른 관계 클래스 예측에 더 큰 기여를 하는가?

주요 결과

• 제안된 모델은 외부 언어학적 특징 없이 사전에 학습된 단어 임베딩만을 사용하여 SemEval-2010 테스트 세트에서 F1 스코어 84.3%를 달성했다.
• 범위 제한 없이 적용된 표준 어텐션 기반 양방향 GRU(atten-BGRU)보다 성능이 뛰어나, 특정 구간에 맞춘 모델링의 이점이 있음을 시사한다.
• 명사구와 관계 구간을 동시에 추상화한 모델가 가장 높은 성능(84.3%)을 기록하여, 세 구성 요소에서 유용한 보완 정보를 제공함을 시사한다.
• 제거 실험 결과, 오직 관계 구간에만 GRU를 제한한 모델는 전체 모델보다 낮은 F1(82.9%)을 기록하여 명사구 특징이 성능 향상에 필수적임을 입증한다.
• POS 태그, WordNet, 최단 의존성 경로와 같은 추가 언어학적 자원을 사용하는 최신 기술 수준의 CNN 및 RNN 모델과 비교해도 성능가 비슷한 수준이었다.