[논문 리뷰] Classifying Relations by Ranking with Convolutional Neural Networks

Cícero Nogueira dos Santos, Bing Xiang외 1명|arXiv (Cornell University)|2015. 04. 24.

Topic Modeling참고 문헌 12인용 수 113

한 줄 요약

이 논문은 관계를 소프트맥스 분류가 아닌 순위 매기기 방식으로 분류하는 컨volutional 신경망인 CR-CNN을 제안한다. 학습된 클래스 임베딩와 새로운 쌍별 순위 매기기 손실 함수를 사용하여 인위적인 '기타' 클래스의 영향을 줄인다. SemEval-2010 Task 8 데이터셋에서 CR-CNN는 수동으로 제작된 특징을 사용하지 않고도 F1 스코어 84.1을 달성하며, 이는 단지 단어 임베딩과 타겟 명사어 사이의 텍스트만을 활용하여 이전 최고 성능 기준을 뛰어넘는 성능을 보였다.

ABSTRACT

Relation classification is an important semantic processing task for which state-ofthe-art systems still rely on costly handcrafted features. In this work we tackle the relation classification task using a convolutional neural network that performs classification by ranking (CR-CNN). We propose a new pairwise ranking loss function that makes it easy to reduce the impact of artificial classes. We perform experiments using the the SemEval-2010 Task 8 dataset, which is designed for the task of classifying the relationship between two nominals marked in a sentence. Using CRCNN, we outperform the state-of-the-art for this dataset and achieve a F1 of 84.1 without using any costly handcrafted features. Additionally, our experimental results show that: (1) our approach is more effective than CNN followed by a softmax classifier; (2) omitting the representation of the artificial class Other improves both precision and recall; and (3) using only word embeddings as input features is enough to achieve state-of-the-art results if we consider only the text between the two target nominals.

연구 동기 및 목표

• 고비용의 수동으로 제작된 특징에 의존하는 최신 관계 분류 시스템의 한계를 해결하기 위해.
• 소프트맥스 기반 분류를 순위 기반 접근 방식으로 대체하여 SemEval-2010 Task 8 벤치마크에서 성능을 향상시키기 위해.
• 새로운 손실 함수와 임베딩 생략 전략을 통해 인위적인 '기타' 관계 클래스의 부정적 영향을 줄이기 위해.
• 특히 타겟 명사어 사이의 텍스트에서 유도된 단어 임베딩만으로도 최고 성능을 달성할 수 있음을 입증하기 위해.
• 각 관계 클래스 예측에 기여하는 가장 대표적인 삼어어구를 식별함으로써 예측의 해석 가능성을 제공하기 위해.

제안 방법

• CR-CNN는 컨volutional 신경망을 사용해 단어 임베딩로부터 입력 문장의 분산 표현을 생성한다.
• 각 관계 클래스는 클래스 임베딩 행렬 내에서 학습된 벡터로 표현되며, 네트워크는 문장 표현과 클래스 임베딩 간의 내적곱을 통해 각 클래스에 대한 점수를 계산한다.
• 정확한 관계가 잘못된 관계보다 높게 순위가 매겨지도록 최적화하기 위해 새로운 쌍별 순위 매기기 손실 함수를 도입한다. 이는 인위적인 '기타' 클래스의 영향을 줄이는 데 기여한다.
• 모델은 단어 임베딩만을 입력으로 사용하여 엔드 투 엔드로 훈련되며, 성능 향상을 위해 선택적 단어 위치 임베딩(WPEs)을 포함할 수 있다.
• 네트워크 아키텍처는 삼어어구가 최종 점수에 미치는 영향을 기반으로 기여도 값을 계산함으로써 설명 가능성을 제공한다.
• 추론 과정에서 '기타' 클래스는 클래스 임베딩 행렬에서 생략되어 정밀도와 재현율을 향상시킨다.

실험 결과

연구 질문

• RQ1 CNN 기반 모델이 고비용의 수동으로 제작된 특징에 의존하지 않고도 관계 분류에서 최고 성능을 달성할 수 있는가?
• RQ2 순위 기반 분류 접근 방식이 기존의 소프트맥스 기반 분류보다 관계 분류 작업에서 더 우수한 성능을 내는가?
• RQ3 제안된 쌍별 순위 매기기 손실 함수는 인위적인 '기타' 관계 클래스의 부정적 영향을 얼마나 효과적으로 완화하는가?
• RQ4 위치 임베딩 등의 추가 특징 없이도 두 타겟 명사어 사이의 텍스트만을 사용할 경우 성능을 얼마나 유지할 수 있는가?
• RQ5 입력 문장에서 가장 영향력 있는 삼어어구를 식별함으로써 모델의 예측을 해석할 수 있는가?

주요 결과

• CR-CNN는 SemEval-2010 Task 8 데이터셋에서 수동으로 제작된 특징을 전혀 사용하지 않고도 F1 스코어 84.1을 달성하며, 이는 이전 최고 성능을 뛰어넘는 성능이다.
• 제안된 손실 함수를 사용한 순위 기반 접근 방식은 표준 CNN에 이어 소프트맥스 분류기를 사용한 기존 방법보다 우수한 성능을 보이며, 순위 매기기 파라다임의 효과성을 입증한다.
• '기타' 클래스 임베딩을 생략함으로써 정밀도와 재현율이 향상되었으며, 이는 동등하게 처리될 경우 인위적 클래스가 모델 학습에 왜곡을 초래할 수 있음을 시사한다.
• 두 타겟 명사어 사이의 텍스트에서 유도된 단어 임베딩만을 사용해도 뛰어난 성능을 달성하며, 이는 최소한의 입력으로도 높은 정확도를 확보할 수 있음을 보여준다.
• 모델은 '기타' 관계에 대해 'away from the'와 같은 정보적인 삼어어구를 식별하고, 'Origin-Entity' 관계에 대해선 'the source of'를 식별함으로써 설명 가능성과 의미적 일치를 확인한다.
• 기여도 분석 결과, 점수에 큰 영향을 주는 삼어어구들은 예측된 관계 유형과 의미적으로 관련이 있으며, 이는 모델의 설명 가능성에 대한 검증을 제공한다.