[논문 리뷰] A Survey of Deep Learning Methods for Relation Extraction

Shantanu Kumar|arXiv (Cornell University)|2017. 05. 10.

Topic Modeling참고 문헌 18인용 수 71

한 줄 요약

이 논문은 관계 추출을 위한 딥 러닝 접근법을 조사하며 감독 CNN/PCNN 모델, 다층 감독의 멀티 인스턴스 학습과 노이즈 라벨 처리 개선에 초점을 맞춘 어텐션 메커니즘을 강조한다. 데이터셋, 아키텍처, 향후 방향에 대해 논의한다.

ABSTRACT

Relation Extraction is an important sub-task of Information Extraction which has the potential of employing deep learning (DL) models with the creation of large datasets using distant supervision. In this review, we compare the contributions and pitfalls of the various DL models that have been used for the task, to help guide the path ahead.

연구 동기 및 목표

• 관계 추출을 핵심 정보추출(Ie) 하위 작업으로 동기를 부여하고, 복잡한 특성 엔지니어링 없이 딥 러닝 기반 접근법의 필요성을 제시한다.
• RE에서 문장 인코딩을 위한 감독 CNN/PCNN 모델을 검토한다.
• 훈련 데이터를 확장하고 노이즈를 처리하기 위해 원격 감독과 멀티 인스턴스 학습을 검토한다.
• 약한 지도하에서 추출 성능을 개선하기 위한 어텐션과 다중 레이블 설정과 같은 발전을 논의한다.
• 문장 인코딩 및 관계 활용의 격차와 향후 방향성을 확인한다.

제안 방법

• RE 모델의 입력 특징으로 단어 임베딩과 위치 임베딩을 설명한다.
• 최대 풀링과 부분별 풀링을 포함한 문장 인코딩을 위한 CNN/PCNN 아키텍처를 설명한다.
• 원격 감독을 위한 멀티 인스턴스 학습과 엔터티 쌍당 문장 묶음이 어떻게 사용되는지 논의한다.
• 묶음 내 문장의 가중치를 두기 위한 선택적 인스턴스 주의(선택적 어텐션)를 제시한다.
• 문서 간에 중첩되는 관계를 다루기 위한 다중 인스턴스 다중 레이블 CNN을 도입한다.
• 관계 경로와 클래스 연계가 학습 및 추론을 개선하는 방법을 요약한다.

실험 결과

연구 질문

• RQ1 관계 추출에서 문장을 인코딩하는 데 효과적인 DL 아키텍처는 무엇인가?
• RQ2 멀티 인스턴스 학습을 동반한 원격 감독이 RE 성능에 어떤 영향을 미치는가?
• RQ3 인스턴스 묶음에 대한 어텐션 메커니즘이 노이즈가 많은 감독에서 결과를 개선하는가?
• RQ4 다중 레이블 형식이 원격 감독 설정에서 중첩되는 관계를 포착할 수 있는가?
• RQ5 CNN/PCNN 아키텍처를 넘어 DL 기반 RE를 더 향상시킬 유망한 방향은 무엇인가?

주요 결과

• DL 모델은 원격 감독 RE 데이터셋에서 전통적인 비-DL 모델을 크게 능가한다.
• 부분적 풀링과 어텐션 기반 풀링 전략은 단일 문장 풀링이나 글로벌 풀링에 비해 유의한 성능 향상을 제공한다.
• 묶음에 대한 선택적 어텐션(소프트/하드 어텐션)은 기존 MIL 접근법보다 정밀도-재현율을 향상시킨다.
• 문서 간 맥스 풀링 및 다중 레이블 확장은 엔터티 쌍당 여러 관계를 처리하는 능력을 더욱 향상시킨다.
• RE에 순환 신경망(RNN/LSTM)을 적용하는 데 격차가 있어 향후 개선 가능성을 시사한다.