[논문 리뷰] Active Relation Discovery: Towards General and Label-aware Open Relation Extraction

Yangning Li, Yinghui Li외 4명|arXiv (Cornell University)|2022. 11. 08.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 관계 이상치 탐지와 주도 학습을 조합하여 기존 관계와 새로운 관계를 구분하고, 발견된 관계에 인간이 읽을 수 있는 레이블을 자동으로 할당하는 새로운 프레임워크인 Active Relation Discovery(ARD)를 제안한다. ARD는 기존의 최고 성능 모델들보다 일반적인 설정과 새로 제안된 General OpenRE 설정 모두에서 뚜렷한 성능 향상을 보이며, 실제 환경에서의 안정성과 실용성을 입증한다.

ABSTRACT

Open Relation Extraction (OpenRE) aims to discover novel relations from open domains. Previous OpenRE methods mainly suffer from two problems: (1) Insufficient capacity to discriminate between known and novel relations. When extending conventional test settings to a more general setting where test data might also come from seen classes, existing approaches have a significant performance decline. (2) Secondary labeling must be performed before practical application. Existing methods cannot label human-readable and meaningful types for novel relations, which is urgently required by the downstream tasks. To address these issues, we propose the Active Relation Discovery (ARD) framework, which utilizes relational outlier detection for discriminating known and novel relations and involves active learning for labeling novel relations. Extensive experiments on three real-world datasets show that ARD significantly outperforms previous state-of-the-art methods on both conventional and our proposed general OpenRE settings. The source code and datasets will be available for reproducibility.

연구 동기 및 목표

• 기존 OpenRE 방법들이 실제 테스트 조건에서 기존 관계와 새로운 관계가 동시에 존재할 경우 기존 관계와 새로운 관계를 구분하는 데에 한계를 보이는 문제를 해결하기 위해.
• 새로운 관계에 대한 2차 수동 레이블링이 필요 없도록, 자동으로 의미 있고 인간이 읽을 수 있는 레이블을 할당할 수 있도록 하기 위해.
• 실제 세계의 정보 추출 과제를 더 잘 반영하는 실용적인 General OpenRE 평가 설정을 제안하기 위해.
• 주도 학습과 관계 이상치 탐지를 통합하여 엔드 투 엔드 관계 탐지에 적합한 확장성 있고 효율적인 프레임워크를 개발하기 위해.

제안 방법

• ARD는 새로운 관계를 이상치로 간주하는 관계 이상치 탐지 메커니즘을 사용하여, 기존 관계와 새로운 관계가 동시에 존재하는 테스트 데이터에서도 관계를 안정적으로 분류할 수 있도록 한다.
• 프레임워크는 주도 학습에서 대표적인 인스턴스 선택 전략을 도입하여, 인간이 소수의 고정보성 인스턴스만 레이블링하여 새로운 관계에 대한 지도 학습 분류기를 훈련시킬 수 있도록 한다.
• 모델은 알려진 관계와 알려지지 않은 관계를 구분하기 위해 판별망 네트워크를 훈련시키며, 신뢰도 점수를 활용해 주도 학습 과정을 이끌어낸다.
• ARD는 관계 표현을 위해 BERT 기반 인코더를 사용하며, 분석 실험 결과 BERT_BASE조차도 이전의 SOTA 모델들이 사용한 BERT_LARGE를 능가함을 보였다.
• 주도 학습 루프는 레이블이 지정되지 않은 인스턴스 풀에서 가장 불확실하거나 정보가 풍부한 인스턴스를 반복적으로 선택하여 인간의 레이블링을 수행하며, 레이블링 비용을 최소화한다.
• 프레임워크는 일반적인 설정과 General OpenRE 설정 모두에서 평가되었으며, F1, V-measure, ARI, 정밀도/재현율과 같은 표준 자연어 처리 지표를 사용해 성능을 측정하였다.

실험 결과

연구 질문

• RQ1 실제 환경에서 기존 관계와 새로운 관계가 동시에 존재하는 테스트 데이터에서 기존 OpenRE 모델들이 얼마나 잘 일반화되는가?
• RQ2 2차 수동 레이블링이 필요 없이 관계 추출 모델이 새로운 관계에 의미 있고 인간이 읽을 수 있는 레이블을 자동으로 할당할 수 있는가?
• RQ3 혼합 테스트 조건에서 관계 이상치 탐지 기법이 기존 관계와 새로운 관계를 구분하는 데 모델의 안정성을 얼마나 향상시키는가?
• RQ4 대표 인스턴스 선택 전략을 사용한 주도 학습은 높은 품질의 관계 레이블링을 유지하면서 인간의 레이블링 노력의 양을 얼마나 줄일 수 있는가?

주요 결과

• ARD는 일반적인 설정과 General OpenRE 설정 모두에서 세 개의 실제 세계 데이터셋에서 이전의 최고 성능 모델들보다 뚜렷한 성능 향상을 달성하였다.
• BERT_BASE를 백본으로 사용함에도 불구하고, 이전의 SOTA 모델들이 BERT_LARGE를 사용한 것보다 뛰어난 성능을 보였으며, 이는 모델 크기가 성능 향상의 주요 원인이 아님을 시사한다.
• 판별망이 알려지지 않은 관계를 분류하는 데 대한 신뢰도 점수가 훈련 에포크가 진행되면서 안정적으로 증가함에 따라, 이상치 탐지가 안정적이고 신뢰할 수 있음을 나타낸다.
• 코로나19 문헌에 대한 실제 응용에서 ARD는 10개의 엔티티 유형 조합에 대해 고신뢰도로 139,479개의 관계를 자동으로 추출했으며, 레이블링 비용은 매우 낮았다.
• 분석 실험 결과, BERT의 크기가 성능에 큰 영향을 주지 않으며, ARD는 더 작은 모델을 사용할 때도 강력한 성능을 유지함을 보였다.
• 대표 인스턴스 선택 전략을 통한 주도 학습 전략은 높은 품질의 레이블링을 유지하면서도 레이블링 노력의 양을 줄였으며, 이는 후속 작업에서 높은 F1 및 V-measure 점수로 입증되었다.