[논문 리뷰] CANDiS: Coupled & Attention-Driven Neural Distant Supervision

Tushar Nagarajan, Sharmistha외 1명|arXiv (Cornell University)|2017. 10. 26.

Topic Modeling참고 문헌 10인용 수 4

한 줄 요약

CANDiS는 관계 추출에서 원거리 지도 학습을 위한 새로운 엔드 투 엔드 신경망 모델을 제안하며, 동사구 유사도와 개체군-쌍 유사도를 통한 상호 인스턴스 결합을 공동으로 활용하고, 노이즈 감소를 위한 어텐션 기반 메모리 네트워크를 사용한다. 인스턴스 내(어텐션 기반) 및 상호 인스턴스 간(결합 기반) 관계를 모두 모델링함으로써 CANDiS는 표준 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Distant Supervision for Relation Extraction uses heuristically aligned text data with an existing knowledge base as training data. The unsupervised nature of this technique allows it to scale to web-scale relation extraction tasks, at the expense of noise in the training data. Previous work has explored relationships among instances of the same entity-pair to reduce this noise, but relationships among instances across entity-pairs have not been fully exploited. We explore the use of inter-instance couplings based on verb-phrase and entity type similarities. We propose a novel technique, CANDiS, which casts distant supervision using inter-instance coupling into an end-to-end neural network model. CANDiS incorporates an attention module at the instance-level to model the multi-instance nature of this problem. CANDiS outperforms existing state-of-the-art techniques on a standard benchmark dataset.

연구 동기 및 목표

• 다양한 개체군-쌍 간 인스턴스 간 관계를 활용하여 원거리 지도 학습에서의 높은 노이즈 수준을 해결하기 위해.
• 특히 동사구 및 개체군-쌍 유사도를 통한 전역적 의미적 결합을 인스턴스 표현에 통합하여 모델의 강건성을 향상시키기 위해.
• 관계 예측과 결합 기반 정규화를 동시에 최적화하는 엔드 투 엔드 신경망 프레임워크를 개발하기 위해.
• 수작업 특징에 대한 의존도를 줄이기 위해, 결합된 인스턴스 간에 공유 파rameter를 가지는 통합된 어텐션 기반 아키텍처를 사용하기 위해.

제안 방법

• CANDiS는 단어, 품사 태그, 상대적 위치 임베딩 기반으로 문장을 고정 길이 벡터로 임bedding하기 위해 CNN을 사용한다.
• K=4 스텝의 메모리 네트워크가 인스턴스 수준 어텐션을 수행하여 노이즈가 많은 인스턴스 세트에서 관련 문장을 선택하고 관계를 예측한다.
• 상호 인스턴스 간 결합은 공유 파rameter 네트워크를 통해 인스턴스 임베딩 간 대칭적(요소별 곱) 및 비대칭적(요소별 차이) 표현을 계산함으로써 모델링된다.
• 결합 신호는 사전 학습된 GloVe 임베딩을 사용하여 동사구와 개체군-쌍 간의 코사인 유사도를 계산함으로써 유도되며, 이는 전역적인 정규화 신호를 제공한다.
• 모델은 엔드 투 엔드로 학습되며, 다중 작업 목적 함수를 사용한다: 메모리 네트워크로부터의 관계 예측과 쌍 인스턴스 세트로부터의 결합 기반 오차 신호.
• 최종 출력은 학습된 가중치를 가진 게이팅 메커니즘을 사용하여 어텐션 기반 표현과 결합 인식 특징을 결합한다.

실험 결과

연구 질문

• RQ1 동사구 간 의미 유사도를 기반으로 한 상호 인스턴스 간 결합이 원거리 지도 학습 하에서 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 노이즈가 많은 인스턴스 세트 내 어텐션 기반 인스턴스 선택이 모델의 일반화 능력과 노이즈 강건성에 어떤 영향을 미치는가?
• RQ3 결합을 위한 공유 파arameter 아키텍처가 다양한 개체군-쌍 간 표현 학습을 향상시킬 수 있는가?
• RQ4 사전 학습된 GloVe 임베딩을 사용하여 결합 신호를 제공함으로써 CNN 기반 인스턴스 표현이 얼마나 정규화되는가?
• RQ5 관계 예측과 결합 신호의 동시 최적화가 다양한 재현율 수준에서 성능 향상에 기여하는가?

주요 결과

• CANDiS는 Riedel et al. (2010) 벤치마크 데이터셋에서 Mintz et al. (2009), Surdeanu et al. (2012), Zeng et al. (2015)를 포함한 최신 기술 수준의 방법들을 능가한다.
• 어텐션 메커니즘이 직접적인 증거 문장을 성공적으로 식별하고 우선순위를 정함을 Table 1에서 확인할 수 있었으며, 노이즈가 많거나 간접적인 인스턴스는 억제되었다.
• 동사구 및 개체군-쌍 유사도 결합을 사용함으로써 성능 향상이 뚜렷하게 향상되었으며, 특히 고재현율 영역에서 두드러졌다.
• 결합 모듈은 국소적 인스턴스 표현에 전역적 의미 일관성을 주입함으로써 일반화 능력을 향상시키는 지능적인 정규화 기능을 제공한다.
• Figure 2의 곡선을 통해 정밀도-재현율 트레이드오프가 뛰어나게 향상되었으며, 여러 평가 반복 동안의 강건성을 입증했다.
• 결합 구성 요소의 분석 결과, 동사구 유사도와 개체군-쌍 유사도 모두 최종 성능 향상에 기여하는 바가 뚜렷했다.