[논문 리뷰] Improving Sentence-Level Relation Extraction through Curriculum Learning

Seongsik Park, Harksoo Kim|arXiv (Cornell University)|2021. 07. 20.

Topic Modeling참고 문헌 17인용 수 5

한 줄 요약

이 논문은 어려움 순서로 정렬된 데이터로 훈련하여 성능을 햖थ한 문장 수준 관계 추출을 위한 커리큘럼 학습 접근법을 제안한다. 더 쉬운 예제부터 점진적으로 노출시킴으로써, TACRED에서 75.0%의 최고 성능 F1 점수와 Re-TACRED에서 91.4%의 최고 성능 F1 점수를 달성하여 어려운 관계 추출 벤치마크에서 뚜렷한 성과 향상을 보였다.

ABSTRACT

Sentence-level relation extraction mainly aims to classify the relation between two entities in a sentence. The sentence-level relation extraction corpus often contains data that are difficult for the model to infer or noise data. In this paper, we propose a curriculum learning-based relation extraction model that splits data by difficulty and utilizes them for learning. In the experiments with the representative sentence-level relation extraction datasets, TACRED and Re-TACRED, the proposed method obtained an F1-score of 75.0% and 91.4% respectively, which are the state-of-the-art performance.

연구 동기 및 목표

• 문장 수준 관계 추출 데이터셋에서 노이즈가 많고 추론이 어려운 예제의 과제를 해결하기 위해.
• 어려움 순서에 따라 훈련 데이터를 정렬함으로써 모델의 일반화 능력과 성능을 향상시키기 위해.
• TACRED와 Re-TACRED와 같은 복잡한 실세계 데이터셋에서 커리큘럼 학습이 관계 추출 성능 향상에 기여할 수 있는지 탐색하기 위해.
• 구조화된 데이터 정렬을 통해 벤치마크 관계 추출 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 모델은 예측 신뢰도 또는 불확실도 점수를 기반으로 훈련 데이터를 어려움 수준으로 분할하는 커리큘럼 학습 전략을 사용한다.
• 훈련은 초기 모델이 더 높은 신뢰도로 예측한 더 쉬운 예제부터 시작하여 점차 더 어려운 인스턴스로 진행된다.
• 최적화 도중 훈련 예제의 어려움을 점진적으로 증가시키는 동적 커리큘럼 스케줄을 사용한다.
• 사전 훈련된 모델을 사용하여 신뢰도 기반의 어려움 지표를 계산하여 훈련 전에 예제를 순위 매긴다.
• 아키텍처 변경 없이 표준 관계 추출 프레임워크에 커리큘럼 학습을 통합한다.
• 모델은 커리큘럼에 따라 정렬된 데이터로 미세 조정되어 단순한 관계에서 복잡한 관계로 점진적으로 학습한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 모호한 데이터가 많은 문장 수준 관계 추출 작업에서 커리큘럼 학습이 성능 향상에 기여할 수 있는가?
• RQ2 어려움 순서로 정렬된 데이터로 훈련했을 때, TACRED와 Re-TACRED와 같은 표준 벤치마크에서 F1 점수에 어떤 영향을 미치는가?
• RQ3 신뢰도 기반의 어려움 추정이 모델 수렴과 일반화에 어떤 영향을 미치는가?
• RQ4 동일한 데이터 분포에서 표준 훈련보다 커리큘럼 학습이 더 높은 성능을 내는가?

주요 결과

• 제안된 커리큘럼 학습 방법은 TACRED 데이터셋에서 F1 점수 75.0%를 기록하여 새로운 최고 성능을 달성했다.
• Re-TACRED 데이터셋에서는 F1 점수 91.4%를 기록하여 당시까지 보고된 바에서 최고 성능을 기록했다.
• 성능 향상은 두 데이터셋 모두에서 일관되게 나타나, 이 방법이 다양한 데이터 복잡도에 대해 강건함을 보였다.
• 특히 어려운 예제와 모호한 예제에서 수렴 속도 향상과 더 나은 일반화 능력이 관찰되었다.
• 신뢰도 기반의 어려움 추정이 더 쉬운 예제를 효과적으로 식별하여 부드러운 커리큘럼 진행을 가능하게 했다.
• 결과적으로 커리큘럼 학습은 자원이 제한되고 노이즈가 많은 환경에서 관계 추출 성능 향상에 매우 효과적인 전략임을 보여주었다.