[논문 리뷰] Sequence Generation with Label Augmentation for Relation Extraction

Bo Li, Dingyao Yu외 3명|arXiv (Cornell University)|2022. 12. 29.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 관계 레이블에 대해 의미적으로 관련된 동의어와 다의어 표현을 자동으로 생성함으로써 성능을 햖थ하려는 sequence-to-sequence 모델 RELA를 제안한다. GPT-2와 동의어 사전을 활용해 관계 이름을 증강함으로써, 특히 저자원 및 도메인 특화 설정에서 모델의 일반화 능력을 향상시키며, 네 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Sequence generation demonstrates promising performance in recent information extraction efforts, by incorporating large-scale pre-trained Seq2Seq models. This paper investigates the merits of employing sequence generation in relation extraction, finding that with relation names or synonyms as generation targets, their textual semantics and the correlation (in terms of word sequence pattern) among them affect model performance. We then propose Relation Extraction with Label Augmentation (RELA), a Seq2Seq model with automatic label augmentation for RE. By saying label augmentation, we mean prod semantically synonyms for each relation name as the generation target. Besides, we present an in-depth analysis of the Seq2Seq model's behavior when dealing with RE. Experimental results show that RELA achieves competitive results compared with previous methods on four RE datasets.

연구 동기 및 목표

• 관계 레이블의 의미적 특성과 구조적 패턴이 관계 추출에서 sequence-to-sequence 모델 성능에 미치는 영향을 조사하는 것.
• 모델 일반화를 향상시키기 위해 의미적으로 관련된 변형된 관계 레이블을 레이블에 보완하는 데 있어 아직 탐색되지 않은 잠재력을 해결하는 것.
• BART의 디코딩 행동이 관계 추출 작업과 표준 생성 작업 간에 어떻게 다를지, 특히 어텐션 동역학과 히든 상태 표현 측면에서 분석하는 것.
• 다양한 RE 데이터셋에서 특히 저자원 환경에서 성능 향상을 이끌 수 있는 단순하면서도 효과적인 레이블 증강 전략을 개발하고 평가하는 것.

제안 방법

• 원래의 관계 이름과 접두어 구문을 프롬프트로 사용해 GPT-2를 통해 다의어 표현 변형을 생성함으로써 관계 레이블을 증강한다.
• 직접 질문형 프롬프트를 통해 GPT-2에 원래 관계 이름을 기반으로 관련된 관계 용어를 요청함으로써 대체 관계 이름을 생성한다.
• 사전에 구비된 사전에서 동의어를 검색하여 각 관계 이름에 의미적으로 동일한 표현을 추가한다.
• sequence-to-sequence 프레임워크를 사용해 증강된 관계 레이블을 타겟으로 하여 BART-large 모델을 미세조정한다.
• 각 훈련 인스턴스에 대해 다수의 동의어 또는 다의어 표현 레이블을 포함시켜 레이블 공간을 풍부화함으로써 데이터 증강을 적용한다.
• 디코더 히든 상태와 어텐션 패턴을 시각화하고 분석하여 관계 추출 작업과 표준 생성 작업 간의 모델 행동 차이를 이해한다.

실험 결과

연구 질문

• RQ1 관계 레이블 내의 의미적 및 구조적 상관관계가 관계 추출에서 sequence-to-sequence 모델의 성능에 어떤 영향을 미치는가?
• RQ2 다의어 표현과 동의어를 활용한 자동 레이블 증강이 Seq2Seq 기반 관계 추출 모델의 일반화 능력을 상당히 향상시킬 수 있는가?
• RQ3 BART 모델의 디코딩 행동은 요약과 같은 표준 텍스트 생성 작업과 비교해 관계 이름 생성 시 어떻게 다를까?
• RQ4 레이블 증강이 디코더 히든 상태에서 더 분리 가능하고 정보가 풍부한 표현을 만들어내는가?

주요 결과

• 정확한 관계 이름을 직접 생성하는 것이 가장 높은 F1 스코어를 기록하며, 의미 없는 또는 무작위 레이블을 사용할 경우 성능이 크게 떨어짐으로써, 레이블 의미가 핵심임을 확인한다.
• 동의어 및 다의어 표현을 통한 레이블 증강이 상당한 성능 향상을 이끌어내며, 특히 저자원 및 도메인 특화 데이터셋에서 두드러진 성능 향상이 관찰되었고, 네 가지 모두의 벤치마크 데이터셋에서 개선 효과가 확인되었다.
• BART는 관계 추출 작업에서 특별한 디코딩 행동을 보인다: <bos> 토큰에 크게 의존하며, 이전 디코더 출력은 거의 무시함. 요약 작업과는 다름.
• 코사인 유사도 분석 결과, RELA의 디코더 히든 상태는 표준 BART-RE 대비 서로 다른 관계 유형 간에 더 분리되어 있음을 보여주며, 더 나은 표현을 학습함을 시사한다.
• PCA 시각화 결과, RELA가 잠재 공간에서 서로 다른 관계 이름에 대해 더 명확하고 잘 분리된 클러스터를 생성함을 확인하여, 더 나은 의미적 해석 능력을 가짐을 시사한다.
• 전반적인 교차 엔트로피가 낮아 BART-RE는 표현 간 높은 의미적 상관관계를 보이며, 이는 레이블 증강을 통해 완화되어 더 다양하고 정보가 풍부한 잠재 상태 표현을 만들어냄을 의미한다.