[논문 리뷰] Improving Distant Supervision with Maxpooled Attention and Sentence-Level Supervision.

Iz Beltagy, Kyle Lo외 1명|arXiv (Cornell University)|2018. 10. 30.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 문장 수준의 지도 학습과 새로운 최대 풀링 어텐션 메커니즘을 통합하여 원거리 지도 학습의 성능을 향상시키는 다중 작업 학습 프레임워크를 제안한다. 문장 인코딩과 관계 표현 입력을 동시에 학습함으로써, 이 방법은 FB-NYT에서 AUC를 0.284로 향상시켜 이전 최고 성능 대비 10% 상대적 향상을 달성한다.

ABSTRACT

We propose an effective multitask learning setup for reducing distant supervision noise by leveraging sentence-level supervision. We show how sentence-level supervision can be used to improve the encoding of individual sentences, and to learn which input sentences are more likely to express the relationship between a pair of entities. We also introduce a novel neural architecture for collecting signals from multiple input sentences, which combines the benefits of attention and maxpooling. The proposed method increases AUC by 10% (from 0.261 to 0.284), and outperforms recently published results on the FB-NYT dataset.

연구 동기 및 목표

• 문장 수준의 주석을 통합하여 원거리 지도 학습에서 노이즈를 줄이기 위해.
• 문장 수준의 지도 학습을 활용하여 문장 인코딩을 향상시키기 위해.
• 엔티티 간 관계를 표현하는 데 가장 유용한 입력 문장을 학습하기 위해.
• 어텐션과 최대 풀링을 사용하여 다수의 문장에서 신호를 효과적으로 집계하는 신경망 아키텍처를 설계하기 위해.
• FB-NYT 벤치마크 데이터셋에서 최고 성능을 달성하기 위해.

제안 방법

• 이 방법은 문장 수준의 지도 학습과 관계 분류를 동시에 최적화하는 다중 작업 학습 설정을 사용한다.
• 여러 문장에 대한 어텐션과 최대 풀링을 조합하여 주요 특징을 추출하는 최대 풀링 어텐션 메커니즘을 도입한다.
• 모델은 특정 관계를 표현하는 데 있어 각 문장의 중요도를 가중치로 학습한다.
• 문장 수준의 레이블을 사용하여 각 문장의 인코딩을 지도함으로써 표현 품질을 향상시킨다.
• 어텐션을 적용한 후 최대 풀링을 통해 다수의 문장에서 온 증거를 집계하여 가장 관련성이 높은 정보를 포착한다.
• 원거리 지도 학습과 문장 수준의 레이블을 모두 사용하여 FB-NYT 데이터셋에서 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 문장 수준의 지도 학습은 원거리 지도 학습에서 문장 표현의 질을 향상시킬 수 있는가?
• RQ2 어떻게 어텐션과 최대 풀링을 조합하여 다수의 문장에서 온 신호를 더 잘 집계할 수 있는가?
• RQ3 문장 수준의 지도 학습을 통합하면 관계 추출 성능이 향상되는가?
• RQ4 모델은 특정 관계를 표현할 가능성이 높은 문장을 학습으로써 식별할 수 있는가?
• RQ5 기존의 방법과 비교해 볼 때 제안된 방법은 AUC 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 FB-NYT 데이터셋에서 AUC를 0.261에서 0.284로 향상시켜 상대적 향상률 10%를 기록한다.
• 모델은 FB-NYT 벤치마크에서 최근에 발표된 결과들을 능가한다.
• 문장 수준의 지도 학습은 모델이 정보성 있는 문장을 인코딩하고 선택하는 능력을 크게 향상시킨다.
• 최대 풀링 어텐션의 통합은 다수의 입력 문장 간의 신호 집계를 향상시킨다.
• 다중 작업 학습 설정은 더 세밀한 지도 신호를 활용하여 원거리 지도 학습의 노이즈를 효과적으로 줄인다.
• 어텐션과 최대 풀링을 조합하면 단독으로 사용할 때보다 더 높은 성능을 낼 수 있음을 보여준다.