[논문 리뷰] FastRE: Towards Fast Relation Extraction with Convolutional Encoder and Improved Cascade Binary Tagging Framework

Guozheng Li, Xu Chen외 3명|arXiv (Cornell University)|2022. 05. 05.

Natural Language Processing Techniques인용 수 4

한 줄 요약

FastRE는 확장된 컨volution, 게이팅 유닛, 잔차 연결을 갖춘 새로운 컨volution형 인코더와 개선된 캐스케이드 이진 태깅 프레임워크(유형-관계 매핑 및 위치 기반 적응형 임계값 설정 포함)를 사용하여 빠르고 효율적인 관계 추출 모델을 제안한다. 이는 최신 기술(SOTA) 모델 대비 3–10배 빠른 훈련, 7–15배 빠른 추론, 그리고 1/100의 파라미터를 사용하면서도 벤치마크 데이터셋에서 경쟁력 있는 성능을 유지한다.

ABSTRACT

Recent work for extracting relations from texts has achieved excellent performance. However, most existing methods pay less attention to the efficiency, making it still challenging to quickly extract relations from massive or streaming text data in realistic scenarios. The main efficiency bottleneck is that these methods use a Transformer-based pre-trained language model for encoding, which heavily affects the training speed and inference speed. To address this issue, we propose a fast relation extraction model (FastRE) based on convolutional encoder and improved cascade binary tagging framework. Compared to previous work, FastRE employs several innovations to improve efficiency while also keeping promising performance. Concretely, FastRE adopts a novel convolutional encoder architecture combined with dilated convolution, gated unit and residual connection, which significantly reduces the computation cost of training and inference, while maintaining the satisfactory performance. Moreover, to improve the cascade binary tagging framework, FastRE first introduces a type-relation mapping mechanism to accelerate tagging efficiency and alleviate relation redundancy, and then utilizes a position-dependent adaptive thresholding strategy to obtain higher tagging accuracy and better model generalization. Experimental results demonstrate that FastRE is well balanced between efficiency and performance, and achieves 3-10x training speed, 7-15x inference speed faster, and 1/100 parameters compared to the state-of-the-art models, while the performance is still competitive.

연구 동기 및 목표

• 계산 비용이 큰 트랜스포머 기반 사전 학습된 언어 모델에 의존하는 기존 관계 추출 모델의 비효율성을 해결하기 위해.
• 특히 대규모 또는 스트리밍 텍스트 데이터에 대해 성능을 희생시키지 않고 훈련 및 추론 시간을 단축시키기 위해.
• 유형-관계 매핑과 적응형 임계값 설정을 통해 관계 중복을 줄이고 일반화 능력을 향상시켜 캐스케이드 이진 태깅 프레임워크를 개선하기 위해.
• 금융 및 뉴스 데이터 처리와 같은 실생활 응용 분야에서 모델의 효율성과 성능 간의 더 나은 균형을 이루기 위해.

제안 방법

• 장거리 의존성 모델링을 위해 수신장역을 기하급수적으로 확장하는 확장 컨볼루션을 사용한 새로운 컨볼루션 인코더를 설계하여, 더 적은 층 수로도 효과적인 표현을 가능하게 한다.
• 정보 흐름을 제어하기 위해 게이팅 유닛을 통합하고, 깊은 네트워크에서의 기울기 소실 문제를 완화하기 위해 잔차 연결을 적용한다.
• 헤드 엔티티 유형을 사전 정의된 관계에 연결하는 유형-관계 매핑 메커니즘을 도입하여 불필요한 관계 예측을 줄이고 태깅 속도를 향상시킨다.
• 문장 내 위치에 따라 다름을 고려한 적응형 임계값 전략을 적용하고, 순위 기반 손실 함수를 사용하여 각 문장 위치에 맞는 동적 임계값을 학습함으로써 정확도와 일반화 능력을 향상시킨다.
• CasRel의 BERT 인코더를 제안된 컨볼루션 인코더로 대체하여 효율성과 성능 간의 상호 교환 관계를 평가한다.
• 훈련 중 양성 및 음성 클래스 기여도를 균형 잡기 위해 각 위치별로 학습 가능한 임계값 메커니즘을 사용한 시그모이드 활성화 함수를 적용한다.

실험 결과

연구 질문

• RQ1 경량 컨볼루션 인코더가 트랜스포머 기반 인코더를 대체할 수 있을까? 이는 경쟁력 있는 성능 유지와 함께.
• RQ2 확장 컨볼루션과 게이팅 유닛, 잔차 연결이 관계 추출의 효율성과 표현 능력에 어떻게 기여하는가?
• RQ3 유형-관계 매핑이 캐스케이드 이진 태깅에서 관계 중복을 얼마나 줄이고 추론 속도를 빠르게 하는가?
• RQ4 전역 임계값 설정 대비 위치 기반 적응형 임계값 설정이 이진 태깅에서 일반화 능력과 F1 스코어를 얼마나 향상시키는가?
• RQ5 FastRE는 NYT11과 같은 편향 없는 벤치마크에서 BERT 기반 모델 대비 속도, 파라미터 효율성, 일반화 능력 측면에서 어떻게 성능을 내는가?

주요 결과

• FastRE는 최신 기술(SOTA) 모델 대비 3–10배 빠른 훈련 속도와 7–15배 빠른 추론 속도를 달성하여 효율성이 크게 향상되었다.
• 모델는 SOTA 모델 대비 파라미터 수의 1/100만을 사용하여 매우 높은 파라미터 효율성을 확보했다.
• NYT10과 NYT11에서 각각 F1 스코어 73.8과 56.3을 기록하여 ReRe와 유사하거나 略적으로 낮은 성능을 보였지만, 추론 속도는 20배 빠르게 구현했다.
• 적응형 임계값 설정을 도입함으로써 전역 임계값 설정 대비 테스트 F1 스코어가 약 1% 향상되어 더 나은 일반화 능력을 보였다.
• 편향 없는 데이터셋인 NYT11에서 더 나은 일반화 능력을 보였고, NYT24에서는 성능이 1.8–3.3% 감소하여 기억 효과 감소를 시사했다.
• 기울기 분석 결과, 모델이 엔티티 경계와 관계 술어에 주목하고 있음을 확인하여 의미 있는 주목 패턴과 해석 가능성(설명 가능성)을 보였다.