[논문 리뷰] Deeper Task-Specificity Improves Joint Entity and Relation Extraction

Phil Crone|arXiv (Cornell University)|2020. 02. 15.

Topic Modeling참고 문헌 24인용 수 4

한 줄 요약

이 논문은 NER와 관계 추출(RE)를 위한 다중 작업 학습에서 추가적인 작업별 양방향 RNN(BiRNN)을 도입하여 더 깊은 작업별 특화 구조를 제안한다. ADE 데이터셋에서는 최신 기술(SOTA) 성능을 달성하고 CoNLL04에서는 10배 적은 파라미터로 경쟁 가능한 성능을 보이며, 더 깊은 작업별 특화가 성능 향상에 크게 기여하고, 공유/작업별 레이어의 균형은 데이터셋에 따라 조정되어야 함을 보여준다.

ABSTRACT

Multi-task learning (MTL) is an effective method for learning related tasks, but designing MTL models necessitates deciding which and how many parameters should be task-specific, as opposed to shared between tasks. We investigate this issue for the problem of jointly learning named entity recognition (NER) and relation extraction (RE) and propose a novel neural architecture that allows for deeper task-specificity than does prior work. In particular, we introduce additional task-specific bidirectional RNN layers for both the NER and RE tasks and tune the number of shared and task-specific layers separately for different datasets. We achieve state-of-the-art (SOTA) results for both tasks on the ADE dataset; on the CoNLL04 dataset, we achieve SOTA results on the NER task and competitive results on the RE task while using an order of magnitude fewer trainable parameters than the current SOTA architecture. An ablation study confirms the importance of the additional task-specific layers for achieving these results. Our work suggests that previous solutions to joint NER and RE undervalue task-specificity and demonstrates the importance of correctly balancing the number of shared and task-specific parameters for MTL approaches in general.

연구 동기 및 목표

• 기존의 다중 작업 학습 모델에서 작업별 파라미터의 잠재적 활용 부족 문제를 해결하기 위해.
• 얕은 아키텍처를 초월해 작업별 특화를 강화함으로써 공동 NER 및 RE 작업에서 성능 향상이 이루어지는지 조사하기 위해.
• 공유 레이어와 작업별 레이어의 최적 균형은 데이터셋에 따라 달라지며, 도메인에 따라 조정되어야 한다는 것을 입증하기 위해.
• 더 깊은 작업별 특화 설계를 통해 모델 복잡도를 줄이면서도 성능을 유지하거나 향상시키기 위해.
• 특히 관계 추출과 같은 더 복잡한 작업에서 작업별 레이어가 필수적이라는 경험적 증거를 제공하기 위해.

제안 방법

• NER 및 RE 모두에 대해 추가적인 작업별 양방향 RNN(BiRNN) 레이어를 도입하여 이전 연구를 초월하는 더 깊은 작업별 특화를 가능하게 한다.
• 공유 및 작업별 BiRNN 레이어의 수를 별도의 하이퍼파라미터로 간주하고, 각 데이터셋에 대해 독립적으로 튜닝한다.
• 하드 파rameter 공유를 적용: 먼저 공유 레이어가 입력을 처리한 후, NER 및 RE 전용 BiRNN 레이어가 차례로 처리한다.
• NER에는 BIO/BILOU 레이블링 체계를 사용하고, 관계 추출은 공동 디코딩 프레임워크 내에서 엔티티 쌍 간의 관계를 예측한다.
• 동일한 학습 및 평가 프rotocol를 사용하여 ADE 및 CoNLL04 두 데이터셋에 모델을 적용하며, 시도 간 무작위 가중치 초기화를 시행한다.
• 총 파라미터 수를 동일하게 유지하면서 NER 전용, RE 전용, 또는 모든 작업별 BiRNN 레이어를 제거하여 추론 분석(ablation study)을 수행한다.

실험 결과

연구 질문

• RQ1 다중 작업 학습 아키텍처에서 작업별 특화를 강화하면 공동 NER 및 RE 작업에서 성능 향상이 이루어지는가?
• RQ2 다양한 공유 및 작업별 레이어 구성에 따라 공동 NER 및 RE 모델의 성능은 데이터셋 간에 어떻게 달라지는가?
• RQ3 더 깊은 작업별 특화 설계를 통해 핏팅 가능한 파라미터 수를 줄일 수 있으며, 이로 인해 SOTA 성능을 유지하거나 초월할 수 있는가?
• RQ4 작업별 레이어의 이점이 NER와 RE 중 어느 한 작업에 더 두드러지는가? 그 이유는 무엇인가?
• RQ5 공유 및 작업별 레이어의 최적 균형은 고정된 아키텍처를 사용하는 대신, 각 데이터셋에 대해 경험적으로 결정할 수 있는가?

주요 결과

• 제안된 모델은 ADE 데이터셋에서 NER(89.78 매크로 F1)와 RE(72.63 매크로 F1) 모두에서 최신 기술(SOTA) 성능을 달성한다.
• CoNLL04 데이터셋에서는 NER에서 SOTA 성능(89.78 매크로 F1)을 기록하고, RE에서는 거의 SOTA 수준(71.08 마이크로 F1)을 달성하며 이전 모델을 능가한다.
• 현재 SOTA 아키텍처보다 약 10배 적은 핏팅 가능한 파라미터를 사용하면서도 성능을 동일하거나 초월한다.
• 추론 분석 결과, RE 전용 BiRNN 레이어를 제거하면 RE F1이 크게 감소(55.47 마이크로)함을 확인하여, RE는 작업별 능력에 강하게 의존함을 시사한다.
• NER 성능는 NER 전용 레이어 제거에 대해 덜 민감하여, RE는 더 복잡하고 작업별 모델링에서 더 큰 이점을 얻는다는 것을 시사한다.
• NER 전용 레이어가 없는 모델이 RE 전용 레이어와 공유 레이어만을 갖는 경우, Nguyen과 Verspoor(2019)의 모델보다 우수한 성능을 기록함으로써, 더 깊은 공유 및 작업별 아키텍처의 이점이 뚜렷하게 드러난다.