[논문 리뷰] Improved Relation Classification by Deep Recurrent Neural Networks with Data Augmentation

Yan Xu, Ran Jia외 5명|arXiv (Cornell University)|2016. 01. 14.

Topic Modeling참고 문헌 16인용 수 124

한 줄 요약

이 논문은 DRNNs를 사용해 두 개의 엔티티 사이의 최단 의존 경로(SDP) 위에 여러 RNN 계층을 쌓아 관계 분류를 수행하고, 방향성 기반 데이터 증강을 활용해 성능을 향상시키며, 증강을 통해 SemEval-2010 Task 8에서 86.1%의 F1를 달성합니다.

ABSTRACT

Nowadays, neural networks play an important role in the task of relation classification. By designing different neural architectures, researchers have improved the performance to a large extent in comparison with traditional methods. However, existing neural networks for relation classification are usually of shallow architectures (e.g., one-layer convolutional neural networks or recurrent networks). They may fail to explore the potential representation space in different abstraction levels. In this paper, we propose deep recurrent neural networks (DRNNs) for relation classification to tackle this challenge. Further, we propose a data augmentation method by leveraging the directionality of relations. We evaluated our DRNNs on the SemEval-2010 Task~8, and achieve an F1-score of 86.1%, outperforming previous state-of-the-art recorded results.

연구 동기 및 목표

• 관계 분류를 위한 얕은 네트워크를 넘어 다층 추상화를 포착하기 위해 더 깊은 아키텍처의 사용을 동기화합니다.
• 정보성 문법 구조에 초점을 맞추기 위해 두 엔티티 사이의 최단 의존 경로에서 작동하는 DRNNs를 개발합니다.
• 데이터 희소성을 완화하기 위해 관계 방향성을 활용한 데이터 증강 전략을 제안합니다.
• SemEval-2010 Task 8에서 DRNNs를 평가하고 이전의 최첨단 방법들과 비교합니다.

제안 방법

• 두 엔티티 사이의 최단 의존 경로 위에 여러 RNN 계층을 쌓아 DRNNs를 구축합니다.
• 네 가지 정보 채널(단어 임베딩, 품사 임베딩, 문법 관계 임베딩, WordNet 임베딩)을 SDP 기반의 병렬 RNNs를 통해 처리합니다.
• 층 간 연결을 도입하여 정보 전파를 강화하고, 연결 후 각 층에서 최대풀링을 수행한 뒤 연결 및 최종 소프트맥스 분류를 적용합니다.
• 목적에 따라 방향성 있는 역경로를 역방향으로 생성해 역관계를 만들고, 원래 샘플과 역관계 샘플(및 L2 정규화)을 포함하는 공동 목표로 학습하는 데이터 증강을 도입합니다.
• 풀링된 표현에서 교차 엔트로피 손실로 학습하고, 드롭아웃과 밸리데이션 기반 깊이 선택(최대 4개 층이 유익한 것으로 보임)을 사용합니다.

실험 결과

연구 질문

• RQ1 SDP에서 더 깊은 순환 구조가 얕은 RNN/CNN 모델을 넘어 관계 분류를 개선할 수 있는가?
• RQ2 SDP에 초점을 맞추면 무의미한 정보가 줄어들고 관계 예측을 위한 더 나은 추상화를 가능하게 하는가?
• RQ3 관계 방향성을 이용한 데이터 증강이 데이터 희소성을 완화하고 더 깊은 모델의 성능 향상을 가능하게 하는가?
• RQ4 세움 8 SemEval-2010 Task에서 DRNNs가 다른 신경망 구조(CNN, RNN, 하이브리드 모델)와 비교해 어떤 차이를 보이는가?
• RQ5 모델 깊이가 성능과 계층 간 정보 전파에 어떤 영향을 미치는가?

주요 결과

모델	특징	F1
DRNNs (증강 없음)	단어+품사+문법 관계+WordNet 임베딩	84.2
DRNNs (+ 데이터 증강)	단어+품사+GR+WordNet 임베딩	86.1
CNN (SDP 기반)	단어 임베딩	84.0

• 깊이 3에서 증강 없이 DRNNs는 84.2% F1을 달성하고, 깊이 4에서 증강을 사용하면 86.1% F1을 달성합니다.
• 지시된 방향의 관계를 역방향으로 증강하는 방식은 성능을 크게 향상시키며(특히 Other 클래스의 증강을 피할 때 더욱 좋습니다).
• 깊이가 최대 4인 DRNNs는 SemEval-2010 Task 8에서 다양한 기존 방법과 CNN 기반 아키텍처를 능가하며 증강과 함께 최첨단을 달성합니다.
• 이 작업에서 CNN은 더 깊은 아키텍처의 이점을 보지 못하는 반면, 증강이 있는 경우 네 층까지 깊어도 RNN이 성능을 지속해서 향상시킵니다.
• 증강 없이도 DRNNs는 경쟁력이 있으며(depth 3에서 84.2% F1)이지만 증강은 86.1% F1로 크게 향상시킵니다.
• 모델은 다중 채널 SDP 표현을 사용하고 상위 층에서 관계 관련 정보에 집중하는 경향이 있음을 풀링 분석으로 확인합니다.