[논문 리뷰] Finding Influential Instances for Distantly Supervised Relation Extraction

Zifeng Wang, Rui Wen외 4명|arXiv (Cornell University)|2020. 09. 17.

Topic Modeling참고 문헌 6인용 수 24

한 줄 요약

이 논문은 영향 함수를 사용하여 높은 품질의 훈련 인스턴스를 식별하고 샘플링하여 노이즈를 줄이는 모델에 종속되지 않고 해석 가능한 방법인 REIF를 제안한다. 이는 복잡한 아키텍처 없이도 O(1) 계산 복잡도를 갖는 빠른 영향 샘플링 알고리즘을 통해 최신 기술 수준(SOTA) 성능을 달성한다. 이는 주의 메커니즘, 강화 학습, GAN 기반 기준 모델들을 능가하며 투명하고 안정적인 인스턴스 선택을 가능하게 한다.

ABSTRACT

Distant supervision (DS) is a strong way to expand the datasets for enhancing relation extraction (RE) models but often suffers from high label noise. Current works based on attention, reinforcement learning, or GAN are black-box models so they neither provide meaningful interpretation of sample selection in DS nor stability on different domains. On the contrary, this work proposes a novel model-agnostic instance sampling method for DS by influence function (IF), namely REIF. Our method identifies favorable/unfavorable instances in the bag based on IF, then does dynamic instance sampling. We design a fast influence sampling algorithm that reduces the computational complexity from $\mathcal{O}(mn)$ to $\mathcal{O}(1)$, with analyzing its robustness on the selected sampling function. Experiments show that by simply sampling the favorable instances during training, REIF is able to win over a series of baselines that have complicated architectures. We also demonstrate that REIF can support interpretable instance selection.

연구 동기 및 목표

• 원거리 감독 관계 추출(DS-RE)에서 높은 레이블 노이즈가 모델 성능을 저하시키는 문제를 해결하기 위해.
• 복잡한 아키텍처에 의존하지 않고도 노이즈를 줄이기 위해 유리한 훈련 인스턴스를 모델에 종속되지 않고 해석 가능한 방법으로 선택하는 것을 목적으로 한다.
• 딥 러닝 모델에서 인스턴스 품질을 측정하기 위해 영향 함수를 사용할 수 있는 이론적 및 실증적 근거를 제공하기 위해.
• 최소한의 계산 오버헤드로 높은 성능을 유지하는 계산 효율적인 샘플링 전략을 설계하기 위해.
• 영향 기반 샘플링이 일반화 및 강건성을 향상시키며, 특히 소수 관계에서의 성능 향상에 얼마나 기여하는지 확인하기 위해.

제안 방법

• REIF는 각 훈련 인스턴스가 모델의 손실에 미치는 영향을 정량화하기 위해 영향 함수(IF)를 사용하며, 각 인스턴스에 품질 점수 φ를 할당한다.
• 영향 값이 낮은(더 음수인) 인스턴스는 더 높은 품질로 간주되며, 시그모이드 기반 확률 함수 π를 통해 높은 샘플링 확률을 할당한다.
• 단일 기울기 계산과 선형 근사를 사용해 영향 점수를 근사함으로써 계산 복잡도를 O(mn)에서 O(1)으로 감소시키는 빠른 영향 샘플링 알고리즘을 구현한다.
• 동적 인스턴스 샘플링(DIS)을 지원하여 훈련 중에 유리한 인스턴스를 적극적으로 유지함으로써 소수 관계에서의 모델 강건성을 향상시킨다.
• 정확도가 떨어지는 영향 추정치로 인한 분산을 줄이기 위해, 특히 임계값 근처에서 모호한 인스턴스에 유사한 확률을 할당하는 방식으로 샘플링 함수 π를 설계하였다.
• REIF는 모델에 종속되지 않으며, PCNN와 같은 어떤 딥 러닝 기반 RE 모델과도 아키텍처 수정 없이 통합 가능하다.

실험 결과

연구 질문

• RQ1 원거리 감독 관계 추출에서 영향 함수를 효과적으로 높은 품질의 훈련 인스턴스를 식별하는 데 사용할 수 있는가?
• RQ2 영향 기반 인스턴스 샘플링은 주의 메커니즘, 강화 학습, GAN 기반 기준 모델 대비 모델 성능 향상에 기여하는가?
• RQ3 제안된 방법은 O(1) 복잡도를 달성하면서도 다양한 데이터셋과 도메인에서 강건성을 유지할 수 있는가?
• RQ4 확률적 샘플링은 결정론적 또는 후행적 샘플링 대비 안정성과 성능 측면에서 어떻게 비교되는가?
• RQ5 영향 기반 샘플링은 소수 관계 및 잘못된 음성 결과의 탐지에 얼마나 기여하는가?

주요 결과

• REIF는 주의 메커니즘, 강화 학습, GAN 기반 기준 모델을 포함한 여러 강력한 기준 모델들을 능가하여 수작업 평가에서 상위 500개 예측에서 평균 정밀도 82.7%를 달성했다.
• 샘플링 비율이 5%에서 30% 사이일 때도 안정적인 성능을 유지함으로써, 높은 품질의 인스턴스에 집중하는 것이 효과적인 훈련을 위한 충분한 조건임을 입증했다.
• 확률적 시그모이드 샘플링은 결정론적 샘플링 대비 강건성을 크게 향상시켰으며, 정확도가 떨어지는 영향 추정치로 인한 분산을 줄였다.
• 동적 인스턴스 샘플링(DIS)은 특히 소수 관계에서 후행적 샘플링보다 더 높은 성능을 보였으며, 훈련 전반에 걸쳐 더 유리한 인스턴스를 유지했다.
• 사례 연구를 통해 영향 값이 인스턴스 품질을 정량적으로 반영함을 확인했으며, 음수 영향 값을 가진 인스턴스는 올바르고 정보가 풍부한 샘플임을 입증했다.
• 빠른 영향 샘플링 알고리즘은 O(1) 복잡도를 달성하여 REIF가 대규모 원거리 감독 데이터셋에 대해 확장 가능하고 실용적임을 입증했다.