[논문 리뷰] Transfer Learning for Relation Extraction via Relation-Gated Adversarial Learning

Ningyu Zhang, Shumin Deng외 4명|arXiv (Cornell University)|2019. 08. 22.

Topic Modeling참고 문헌 36인용 수 7

한 줄 요약

이 논문은 관계 추출을 위한 새로운 도메인 적응 프레임워크인 관계 게이팅 적대적 학습(R-Gated)을 제안한다. 이는 언어적 변동성, 불균형한 관계 분포, 부분적 적응 문제를 해결하기 위해 관계 기반 게이팅 메커니즘을 도입하여 관련성이 없는 소스 샘플의 영향을 감소시킨다. 이 방법은 도메인 불변 특징을 학습하면서도 이상치 관계와 이식 불가능한 인스턴스를 자동으로 걸러내어 저자원 및 노이즈가 많은 원거리 감독 설정에서 성능을 햖थ한다.

ABSTRACT

Relation extraction aims to extract relational facts from sentences. Previous models mainly rely on manually labeled datasets, seed instances or human-crafted patterns, and distant supervision. However, the human annotation is expensive, while human-crafted patterns suffer from semantic drift and distant supervision samples are usually noisy. Domain adaptation methods enable leveraging labeled data from a different but related domain. However, different domains usually have various textual relation descriptions and different label space (the source label space is usually a superset of the target label space). To solve these problems, we propose a novel model of relation-gated adversarial learning for relation extraction, which extends the adversarial based domain adaptation. Experimental results have shown that the proposed approach outperforms previous domain adaptation methods regarding partial domain adaptation and can improve the accuracy of distance supervised relation extraction through fine-tuning.

연구 동기 및 목표

• 교차 도메인 관계 추출에서 언어적 변동성, 불균형한 관계 분포, 부분적 도메인 적응 문제를 해결하기 위해.
• 저자원 타겟 도메인에서 레이블 공간이 불일치하고 원거리 감독이 노이즈를 포함할 경우 발생하는 부정적 전이를 줄이기 위해.
• 도메인 적응 과정에서 관련성 없거나 이식 불가능한 소스 샘플을 자동으로 식별하고 가중치를 낮추는 방법을 개발하기 위해.
• 일반적인 소스 도메인을 활용한 테스트를 통해 원거리 감독 기반 관계 추출의 정확도를 향상시키기 위해.
• 제한된 또는 노이즈가 많은 레이블을 가진 특정 타겟 도메인(예: 금융, 의료)에 대해 고품질 소스 도메인(예: 위키백과, 위키데이터)으로부터 효과적인 지식 전이를 가능하게 하기 위해.

제안 방법

• 모델은 도메인 간 언어적 변동성을 분리하는 데 기여하는 이식 가능한 문장 표현을 추출하기 위해 CNN 기반 인스턴스 인코더를 사용한다.
• 기울기 반전 층을 활용한 적대적 도메인 적응을 통해 소스 및 타겟 도메인의 특징 분포를 정렬한다.
• 이상치 관계와 이식 불가능한 샘플을 억제하기 위해 동적 카테고리 및 인스턴스 가중치를 계산하는 관계 게이팅 메커니즘을 도입한다.
• 카테고리 가중치($w^c$)는 각 관계 유형별로 학습되어 소스 도메인에서 부적합하거나 희귀한 관계의 영향을 줄인다.
• 인스턴스 가중치($w^i$)는 각 샘플별로 계산되어 관계 클래스 내에서 이식 불가능하거나 노이즈가 많은 예시의 영향을 감소시킨다.
• 최종 분류기는 소스 분류기와 도메인 식별기의 가중치가 반영된 예측을 통합하여 타겟 도메인에서의 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반 도메인(예: 위키백과)에서부터 레이블 공간이 작고 특정한 저자원 도메인으로 관계 추출 모델을 효과적으로 적응시키는 방법은 무엇인가?
• RQ2 소스 및 타겟 도메인 간 불균형하거나 불일치하는 관계 분포로 인한 부정적 전이를 관계 게이팅 메커니즘이 어느 정도 줄일 수 있는가?
• RQ3 동적 샘플 가중치를 도입한 적대적 도메인 적응이 노이즈가 많은 원거리 감독 데이터에서 성능을 향상시키는 데에 얼마나 기여하는가?
• RQ4 소스 레이블 공간이 타겟 레이블 공간의 초집합인 부분적 도메인 적응 환경에서 모델의 성능은 어떠한가?
• RQ5 수동적 개입 없이도 모델이 이식 불가능한 인스턴스와 이상치 관계를 자동으로 식별하고 가중치를 낮출 수 있는가?

주요 결과

• R-Gated는 특히 타겟 클래스 수가 감소할 경우, 표준 적대적 도메인 적응(예: CNN+DANN)보다 부분적 도메인 적응 설정에서 뛰어난 성능을 보였다.
• Wiki-NYT 데이터셋에서 PCNN+R-Gated는 타겟 클래스가 6개로 줄어든 상황에서도 강력한 성능 유지를 보였고, CNN+DANN는 심각하게 성능 저하를 보여 부정적 전이가 감소했음을 시사한다.
• 관계 게이팅 메커니즘은 타겟 도메인에 희귀하거나 존재하지 않는 관계인 capital_of와 같은 이상치 관계에 낮은 가중치를 할당하는 데 성공했다.
• 케이스 스터디를 통해 원거리 감독에서 노이즈가 많은 레이블을 수정할 수 있었으며, place_of_birth 및 유사 관계에서 잘못된 양성 예측를 식별하고 가중치를 낮춰 정확도를 향상시켰다.
• 동일한 관계 클래스 내에서도 의미적으로 이식 가능한 예시에는 높은 인스턴스 가중치를, 이식 불가능하거나 모호한 예시에는 낮은 가중치를 할당하여 성능 향상을 이룬다.
• 케이스 스터디를 통해 모델이 이상치 클래스와 노이즈가 많은 인스턴스의 영향을 자동으로 탐지하고 완화함으로써 저자원 환경에서의 강인성을 향상시킬 수 있음을 확인했다.