[논문 리뷰] Attention-Based Capsule Networks with Dynamic Routing for Relation Extraction

Ningyu Zhang, Shumin Deng외 4명|arXiv (Cornell University)|2018. 12. 29.

Topic Modeling참고 문헌 25인용 수 17

한 줄 요약

이 논문은 다중 인스턴스 다중 레이블 학습 프레임워크 내에서 엔드 투 엔드 관계 추출을 위한 동적 라우팅을 갖춘 주의 기반 캡슐 네트워크를 제안한다. 반복적 라우팅과 단어 수준 주의를 통해 관계를 모델링함으로써, 단일 및 다중 관계 추출 작업 모두에서 정밀도를 향상시키며, Wikidata 및 NYT 벤치마크에서 기준 모델을 능가한다.

ABSTRACT

A capsule is a group of neurons, whose activity vector represents the instantiation parameters of a specific type of entity. In this paper, we explore the capsule networks used for relation extraction in a multi-instance multi-label learning framework and propose a novel neural approach based on capsule networks with attention mechanisms. We evaluate our method with different benchmarks, and it is demonstrated that our method improves the precision of the predicted relations. Particularly, we show that capsule networks improve multiple entity pairs relation extraction.

연구 동기 및 목표

• 기존 신경망 모델이 공간적 관계를 제대로 처리하지 못하고 고정된 벡터 표현을 사용하는 데서 비롯되는 한계를 해결하기 위해.
• 캡슐 네트워크를 통해 복잡하고 겹치는 특징을 모델링하여 다중 레이블 관계 추출을 향상시키기 위해.
• 주요 단어를 동적으로 가중하는 단어 수준 주의를 통합하여 특징 표현을 향상시키기 위해.
• 한 문장 내에서 다수의 엔티티 쌍에 대해 다수의 관계를 동시에 예측할 수 있도록 하기 위해.
• 이전 연구에서 이러한 아키텍처를 탐색하지 않은 관계 추출 맥락에서 캡슐 네트워크의 효과를 평가하기 위해.

제안 방법

• 모델은 문장 인코딩을 위해 양방향 LSTM 레이어를 사용한 후, 전통적 풀링 대신 동적 라우팅을 사용하는 캡슐 네트워크를 적용한다.
• 동적 라우팅은 반복적으로 주의 유사 가중치를 계산하여, 하위 수준의 캡슐 간의 일치를 바탕으로 정보를 라우팅한다.
• 단어 수준 주의는 위치 임베딩에 적용되어, 관계 예측에 대한 관련성이 높은 엔티티 기반 위치에 대해 서로 다른 가중치를 할당한다.
• 캡슐 네트워크는 다중 레이블 분류 문제를 다수의 이진 분류 작업으로 변환하여, 문장 내에서 다수의 관계를 동시에 예측할 수 있도록 한다.
• 다른 연구에서 캡슐 네트워크의 기여를 분리하기 위해, 주요 캡슐 레이어를 완전히 연결된 레이어로 대체한다.
• 모델은 교차 엔트로피 손실과 L2 정규화를 사용하여 엔드 투 엔드로 훈련되며, 초모델은 검증 세트에서 최적화된다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크와 동적 라우팅을 사용할 경우, CNN 및 RNN에 비해 관계 추출 성능이 향상되는가?
• RQ2 단어 수준 주의는 다수의 엔티티 쌍이 존재하는 맥락에서 관계 관련 단어의 표현을 어떻게 향상시키는가?
• RQ3 최대 풀링 또는 평균 풀링에 비해 동적 라우팅 메커니즘이 구조적 관계를 더 잘 유지하는가?
• RQ4 다수의 관계가 한 문장 내에서 동시에 존재하는 다중 관계 추출 환경에서 모델의 성능은 어떠한가?
• RQ5 성능과 훈련 효율성의 균형을 고려할 때, 최적의 동적 라우팅 반복 횟수와 캡슐 차원은 얼마인가?

주요 결과

• 제안된 모델은 Wikidata 데이터셋에서 재현율 0.3일 때 정밀도 0.422를 기록하며, 캡슐 네트워크를 포함하지 않은 기준 모델을 능가한다.
• 제거 실험 결과, 단어 수준 주의를 제거하면 재현율 0.3일 때 정밀도가 0.395로 감소하여, 이 기여가 상당히 크다는 것을 입증한다.
• 3회의 동적 라우팅 반복을 통해 최고의 성능을 기록하였으며, 정밀도 0.422(재현율 0.3)를 달성하였고, 더 많은 반복은 성능 저하를 초래한다.
• 캡슐 차원을 d=8로 설정할 경우 성능과 훈련 시간 사이의 최적의 트레이드오���을 확보하였으며, d=32는 합리적인 에포크 내에서 수렴하지 못했다.
• 캡슐 네트워크는 단일 및 다중 엔티티 쌍 관계 추출 모두에서 Bi-LSTM 기준 모델을 능가하며, 특히 복잡하고 겹치는 관계를 잘 포착한다.
• 모델는 다중 관계 환경에서도 뛰어난 강건성을 보이며, 한 문장 내에서 다수의 엔티티 쌍에 대해 다수의 관계를 동시에 성공적으로 예측한다.