[논문 리뷰] Relation Classification as Two-way Span-Prediction

Amir Cohen, Shachar Rosenman외 1명|arXiv (Cornell University)|2020. 10. 09.

Topic Modeling참고 문헌 20인용 수 14

한 줄 요약

이 논문은 감독 관계 분류를 위한 새로운 이중 방향 스파닝 예측 프레임워크를 제안하며, 각 관계를 질문-답변 쌍으로 간주하여 관련 엔티티에 대한 모델 집중도를 향상시킵니다. 이중 방향 템플릿을 사용해 관계 분류를 스팬 예측 작업으로 변환함으로써, 기존 방법보다 TACRED에서 2.3 F₁, SemEval에서 0.9 F₁ 향상된 최신 기술 수준(SOTA) 성능을 달성하였으며, 표면적인 히ュ리스틱에 대한 의존도도 감소시켰습니다.

ABSTRACT

The current supervised relation classification (RC) task uses a single embedding to represent the relation between a pair of entities. We argue that a better approach is to treat the RC task as span-prediction (SP) problem, similar to Question answering (QA). We present a span-prediction based system for RC and evaluate its performance compared to the embedding based system. We demonstrate that the supervised SP objective works significantly better then the standard classification based objective. We achieve state-of-the-art results on the TACRED and SemEval task 8 datasets.

연구 동기 및 목표

• 전체 문장 임베딩에 의존하고 특정 엔티티를 무시하는 표준 관계 분류 모델의 한계를 해결하기 위해.
• 관계에 관여하는 정확한 엔티티 스팬에 주의를 집중시켜 성능을 향상시키고, 표면적인 텍스트 패턴에 대한 의존도를 줄이기 위해.
• 질문-답변에 영감을 받은 스팬 예측 접근 방식이 감독 관계 분류에서 전통적인 임베딩 기반 분류보다 우월한 성능을 낼 수 있는지 평가하기 위해.
• 이중 방향 질문 템플릿과 답변 조합 전략(OR 대 AND)이 모델 성능에 미치는 영향을 조사하기 위해.
• SQuAD와 같은 일반 QA 데이터셋에서의 사전 훈련이 관계 분류 작업 성능 향상에 기여하는지 평가하기 위해.

제안 방법

• 각 관계 유형을 두 개의 질문으로 변환함: 하나는 헤드 엔티티를 질의로, 테일을 답변으로, 반대로도 수행하여 이중 방향 스팬 예측 설정을 구성함.
• 모델은 각 질문에 대해 답변의 스팬을 예측하도록 훈련되며, 정확한 스팬에 대해 점수를 최대화하는 스팬 스코어 함수를 사용함.
• 최종 관계 예측은 두 질문의 답변을 OR 조합으로 사용하여 재현율을 높이면서도 정밀도를 유지함.
• 컨텍스트와 질의를 인코딩하기 위해 BERT, ALBERT 등의 사전 훈련된 언어 모델을 백본으로 사용함.
• 템플릿은 관계에 대한 의미 지식을 인코딩하도록 설계되었으며, 모델은 관계 분류 데이터셋에서 엔드 투 엔드로 미세조정됨.
• 모델은 TACRED, SemEval-8, 그리고 최신으로 공개된 CRE 데이터셋에서 평가되어 일반화 능력과 강건성을 테스트함.

실험 결과

연구 질문

• RQ1 표준 임베딩 기반 분류와 비교해 이중 방향 스팬 예측 프레임워크가 감독 관계 분류 성능을 향상시킬 수 있는가?
• RQ2 양방향 질문(두 엔티티를 각각 질의와 답변으로 사용)을 사용할 경우 모델의 일반화 능력 향상과 히ュ리스틱 편향 감소에 기여하는가?
• RQ3 다양한 답변 조합 전략(OR 대 AND)이 스팬 예측 설정에서 정밀도와 재현율에 어떤 영향을 미치는가?
• RQ4 SQuAD 2.0와 같은 일반 QA 데이터셋에서의 사전 훈련이 관계 분류 작업 성능 향상에 기여하는가?
• RQ5 스패닝 예측 목표가 모델이 비의미적 텍스트 패턴에 의존하는 정도를 어느 정도 감소시키는가?

주요 결과

• 이중 방향 스팬 예측 방법은 TACRED에서 88.7의 새로운 최신 기술 수준(F₁) 점수를 기록하며, 이는 이전 방법보다 2.3 F₁ 포인트 향상된 성과입니다.
• SemEval-8에서 모델은 F₁ 점수 88.9를 기록하여 이전 최신 기술 수준보다 0.9 F₁ 포인트 향상되었습니다.
• 양방향 질문을 사용할 경우 단방향 설정 대비 2.4 F₁ 포인트 향상되었으며, 이는 양방향 관계 모델링의 중요성을 입증합니다.
• 답변의 AND 조합은 OR 대비 F₁ 점수를 약 10점 감소시켜 모델을 과도하게 제약하고 재현율을 낮추기 때문에 성능 저하가 발생합니다.
• SQuAD 2.0에서의 사전 훈련은 성능 향상에 기여하지 않았으며, TACRED 데이터와 조합했을 때 성능이 악화되기도 해, 주요 성과 향상 요인은 QA 사전 훈련이 아니라 감독 기반 스팬 예측임을 시사합니다.
• CRE 데이터셋(표면적 히ュ리스틱을 테스트하기 위해 설계됨)에서도 모델은 강력한 일반화 능력을 보이며, 비의미적 패턴에 대한 의존도 감소를 확인했습니다.