[논문 리뷰] Ensemble Neural Relation Extraction with Adaptive Boosting

Dongdong Yang, Senzhang Wang외 1명|arXiv (Cornell University)|2018. 01. 29.

Topic Modeling참고 문헌 12인용 수 6

한 줄 요약

이 논문은 양방향 LSTM와 주목적 메커니즘, 적응형 부스팅을 결합한 앙상블 신경 관계 추출 모델인 Ada-LSTM을 제안한다. 학습 중 잘못 분류된 샘플을 재가중하고 여러 LSTMs를 활용함으로써, 실제 데이터셋에서 최신 기술 대비 8% 높은 F1 점수를 달성하여 강건성과 정확도를 향상시킨다.

ABSTRACT

Relation extraction has been widely studied to extract new relational facts from open corpus. Previous relation extraction methods are faced with the problem of wrong labels and noisy data, which substantially decrease the performance of the model. In this paper, we propose an ensemble neural network model - Adaptive Boosting LSTMs with Attention, to more effectively perform relation extraction. Specifically, our model first employs the recursive neural network LSTMs to embed each sentence. Then we import attention into LSTMs by considering that the words in a sentence do not contribute equally to the semantic meaning of the sentence. Next via adaptive boosting, we build strategically several such neural classifiers. By ensembling multiple such LSTM classifiers with adaptive boosting, we could build a more effective and robust joint ensemble neural networks based relation extractor. Experiment results on real dataset demonstrate the superior performance of the proposed model, improving F1-score by about 8% compared to the state-of-the-art models.

연구 동기 및 목표

• 감독 관계 추출에서 노이즈, 불균형, 잘못 레이블링된 데이터의 과제를 해결한다.
• 주목적 메커니즘과 딥 네트워크를 통합하여 모델의 강건성과 성능을 향상시킨다.
• 학습 중 어려운 샘플을 동적으로 재가중하기 위해 적응형 부스팅을 활용하여 일반화 능력을 향상시킨다.
• 다양한 LSTMs를 통합하여 예측 정확도와 안정성을 향상시키는 공동 앙상블 프레임워크를 개발한다.

제안 방법

• 문장의 전방 및 후방 의미를 포착하기 위해 양방향 스택형 LSTMs를 사용한다.
• 관계에 대한 관련성이 높은 단어에 따라 중요도를 가변적으로 할당하기 위해 주목적 메커니즘을 통합한다.
• 동일한 아키텍처이지만 다른 초기화를 가진 다수의 독립적인 LSTM 분류기 구축한다.
• 학습 중 오차가 큰 샘플에 더 많은 가중치를 부여하기 위해 적응형 부스팅을 적용하여 역전파 동안 반복적으로 샘플을 재가중한다.
• 다양한 부스팅된 분류기의 예측을 앙상블하여 더 강건한 최종 관계 예측을 도출한다.
• 학습 안정성과 과적합 방지를 위해 L2 정규화와 학습률 튜닝을 사용한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 불균형한 데이터가 존재하는 환경에서 적응형 부스팅이 신경 관계 추출 모델의 강건성과 정확도를 향상시킬 수 있는가?
• RQ2 주목적 메커니즘과 LSTMs를 통합할 경우 문장의 의미 표현이 관계 추출에 어떻게 향상되는가?
• RQ3 적응형 부스팅을 통한 앙상블 학습이 단일 모델 및 비부스팅 앙상블 접근 방식보다 관계 추출에서 얼마나 뛰어난가?
• RQ4 성능과 계산 비용을 고려할 때 Ada-LSTMs 앙상블에서 최적의 분류기 수는 얼마인가?

주요 결과

• Ada-LSTMs 모델은 F1 점수 0.54를 기록하여 최신 기술 모델인 Rank+ExATT 대비 8% 향상된 성능을 보였다.
• Ada-LSTMs의 정밀도-재현율 곡선은 기준 모델 대비 더 매끄럽고 안정적이며, 특히 낮은 재현율 수준에서 뛰어난 강건성을 나타냈다.
• 정밀도@N에서의 성능 향상이 뚜렷했으며, P@100, P@200, P@300에서 평균 11.6% 향상된 성과를 기록했다.
• 분류기 수가 10개까지 증가함에 따라 성능이 향상되었고, 이후에는 성능 향상이 둔화되어 수익 감소 현상이 나타났다. 이는 10~20개 모델 이상에서는 추가 이득이 크지 않음을 시사한다.
• 적응형 부스팅과 주목적 기반 LSTMs의 통합은 더 나은 경사 하강 최적화와 하드 예제 처리 능력을 향상시켰다.
• 모델는 일반화 능력이 뛰어나, 다른 모델들이 급격히 성능이 떨어지는 것과는 달리 재현율이 증가함에 따라 높은 정밀도를 유지했다.