[논문 리뷰] SURFACE: Semantically Rich Fact Validation with Explanations

Ankur Padia, Francis Ferraro외 1명|arXiv (Cornell University)|2018. 10. 31.

Topic Modeling인용 수 4

한 줄 요약

SURFACE는 FrameNet 구조화된 의미 프레임을 사용하여 관련 위키백과 문장을 동시에 검색하고 주장의 지지, 반박, 또는 확신 불가로 분류하는 다중 작업 신경망 모델이다. FEVER 데이터셋에서 최신 기준 대비 증거 검색 성능에 90%의 상대적 향상을 이루었고, 분류 정확도에 약 70%의 상대적 향상을 달성하였다.

ABSTRACT

Judging the veracity of a sentence making one or more claims is an important and challenging problem with many dimensions. The recent FEVER task asked participants to classify input sentences as either SUPPORTED, REFUTED or NotEnoughInfo using Wikipedia as a source of true facts. SURFACE does this task and explains its decision through a selection of sentences from the trusted source. Our multi-task neural approach uses semantic lexical frames from FrameNet to jointly (i) find relevant evidential sentences in the trusted source and (ii) use them to classify the input sentence's veracity. An evaluation of our efficient three-parameter model on the FEVER dataset showed an improvement of 90% over the state-of-the-art baseline on retrieving relevant sentences and a 70% relative improvement in classification.

연구 동기 및 목표

• 신뢰할 수 있는 자료원인 위키백과를 활용하여 자연어 주장의 자동 사실 검증 문제를 해결하기 위해.
• 위키백과에서 의미적으로 기반을 둔 추출 가능한 증거 문장을 제공함으로써 주장 분류의 해석 가능성 향상을 위해.
• 의미 프레임을 활용한 다중 작업 학습 프레임워크를 통해 증거 검색과 주장 분류를 동시에 최적화하기 위해.
• TF-IDF와 같은 히우리스틱 검색 방법에 대한 의존도를 줄이고 FrameNet의 풍부한 의미 표현을 활용하기 위해.
• 문장 유용성 예측을 통합함으로써 파arameter 효율적인 방식으로 검색 및 분류 성능 향상이 가능함을 입증하기 위해.

제안 방법

• 주장과 위키백과 문장 양측에서 FrameNet 어휘 프레임을 사용해 의미 표현을 추출하여 증거 검색을 위한 의미 매칭을 가능하게 한다.
• 모델이 각 후보 문장에 대해 증거 관련성과 문장 유용성(중요성)을 동시에 예측하는 다중 작업 학습 아키텍처를 구현한다.
• 학습 중에 고유용성 증거 문장을 미분 가능하게 선택하기 위해 Gumbel-Softmax 재구성 기법을 적용하여 종단 간 최적화를 향상시킨다.
• 세 가지 파rameter 모델 패밀리(검증자, 검증자 + 다중 작업, 검증자 + 다중 작업 + Gumbel 유용성)를 활용하여 점진적으로 복잡도와 성능를 증가시킨다.
• 문장 기반 매칭을 통해 위키백과에서 후보 증거 문장을 식별한 후, 유용성 기반 필터링과 분류를 수행한다.
• 공유된 문장 인코딩과 검색 및 분류에 특화된 헤드를 사용한 파rameter 효율적인 설계를 구현하여 효율적인 학습과 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기존의 TF-IDF와 같은 전통적 방법에 비해 FrameNet의 의미 프레임을 활용하면 주장 검증을 위한 관련 증거 문장 검색 성능이 향상되는가?
• RQ2 다중 작업 학습을 통해 증거 검색과 주장 분류를 동시에 학습하면 별도 최적화보다 성능 향상이 이루어지는가?
• RQ3 증거 문장의 유용성(중요성)을 예측하는 것이 최종 분류 정확도와 검색 F1 스코어에 어떤 영향을 미치는가?
• RQ4 후처리(예: 저유용성 문장 제거)는 검색 재현율과 전체 FEVER 스코어에 어느 정도 영향을 미치는가?
• RQ5 최소한의 아키텍처 복잡도를 가진 파rameter 효율적인 모델이 FEVER 벤치마크에서 최신 기준 모델을 능가할 수 있는가?

주요 결과

• SURFACE는 FEVER 데이터셋에서 최신 기준 대비 증거 검색 성능에 90%의 상대적 향상을 달성하였다.
• 모델의 최적 설정(검증자 + 다중 작업)은 개발 세트에서 FEVER 스코어 0.3452를 기록하여 기준 대비 약 70%의 상대적 분류 성능 향상을 이룩하였다.
• 다중 작업 학습의 활용이 분류 성능 향상에 크게 기여하였으며, 검증자 + 다중 작업 모델이 단일 작업 및 Gumbel 정규화 변형보다 뛰어난 성능을 보였다.
• 저유용성 증거 문장을 제거하는 후처리(유용성 u=10)는 재현율과 F1 스코어를 감소시켜 FEVER 스코어를 0.3452에서 0.2554로 떨어뜨려 성능 저하를 초래함을 시사하였다.
• Gumbel-Softmax 유용성 예측은 원본 유용성 점수 대비 성능 향상 효과가 없었지만, 학습 에포크를 100으로 늘임으로써 이 격차를 완화시킬 수 있었다.
• 검색하는 프레임 기반 문장 수(K)를 늘일수록 성능 향상이 이루어지다가 너무 많은 문장을 포함할 경우 성능 저하가 발생하여 최적의 검색 윈도우가 존재함을 시사하였다.