[논문 리뷰] Implicit Argument Prediction with Event Knowledge

Pengxiang Cheng, Katrin Erk|arXiv (Cornell University)|2018. 02. 20.

Topic Modeling참고 문헌 9인용 수 7

한 줄 요약

이 논문은 서사 일관성과 실체 중요도를 활용하여 합성 훈련 데이터를 생성하는 스케일러블한 클로즈 스타일 작업을 사용한 암시적 목적어 예측을 위한 신경망 모델을 제안한다. 이 모델은 합성 데이터와 자연 데이터 양 쪽에서 강력한 베이스라인을 능가하며, 정답 주석 특징에 의존하지 않음에도 불구하고 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Implicit arguments are not syntactically connected to their predicates, and are therefore hard to extract. Previous work has used models with large numbers of features, evaluated on very small datasets. We propose to train models for implicit argument prediction on a simple cloze task, for which data can be generated automatically at scale. This allows us to use a neural model, which draws on narrative coherence and entity salience for predictions. We show that our model has superior performance on both synthetic and natural data.

연구 동기 및 목표

• 암시적 목적어 예측을 위한 훈련 데이터 부족 문제를 해결하기 위해 클로즈 스타일 작업을 통해 대규모 합성 데이터셋을 생성하는 것.
• 서사 일관성 모델에서 유래한 사건 지식과 실체 중요도 특징을 조합하여 암시적 목적어 예측 성능을 향상시키는 것.
• 자동으로 생성된 데이터로 훈련된 간단한 신경망 모델이 복잡한 수작업 특징 기반 베이스라인을 능가할 수 있음을 보여주는 것.
• OntoNotes에서 생성한 합성 데이터와 Gerber 및 Chai(2010) 데이터셋에서의 자연 데이터를 모두 대상으로 모델을 평가하는 것.
• 중요도와 서사 일관성이 문맥적으로 연결되지 않은 암시적 목적어를 식별하는 데 어떤 역할을 하는지 조사하는 것.

제안 방법

• 저자들은 주변 사건 맥락을 바탕으로 누락된 암시적 목적어를 예측하는 클로즈 작업을 설계하여 대규모 자동 데이터 생성을 가능하게 한다.
• Granroth-Wilding과 Clark(2016)의 기반 신경 사건 모델이 후보 실체와 사건 맥락 사이의 서사 일관성 점수를 계산한다.
• 각 실체의 언급 수를 세어 실체 중요도를 추정하며, 더 자주 언급된 실체를 암시적 목적어로 보다 가능성이 높다고 간주한다.
• 모델은 서사 일관성을 최대화하면서 중요도를 정규화 신호로 통합하여 실체를 선택하도록 훈련된다.
• 다중 암시적 목적어 예측으로의 확장을 위해, 목적어를 다른 역할로 이동시킨 음성 훈련 예제를 생성하는 방식으로 확장된다.
• 비어 있는지 여부를 판단하는 분류기(fill/no-fill classifier)를 추가하여 비목적어 후보를 걸러내어 정밀도를 향상시키되, 재현율은 유지한다.

실험 결과

연구 질문

• RQ1 클로즈 스타일 작업을 사용하여 암시적 목적어 예측을 위한 대규모 합성 데이터를 생성할 수 있는가?
• RQ2 서사 일관성과 실체 중요도를 조합하면 암시적 목적어 예측 성능에 향상이 이루어지는가?
• RQ3 자동으로 생성된 데이터로 훈련된 간단한 신경망 모델이 복잡한 수작업 특징 기반 모델을 능가할 수 있는가?
• RQ4 중요도 특징의 포함 여부가 합성 및 자연 데이터셋 양 쪽에서 성능에 어떤 영향을 미치는가?
• RQ5 사건 지식이 특히 목적어 및 국어적 목적어 역할에 대해 암시적 목적어를 예측하는 데 얼마나 기여하는가?

주요 결과

• OntoNotes 합성 데이터셋에서, 중요도 특징을 갖춘 EventComp 모델은 F1 점수 49.6을 기록하여 GCauto 베이스라인(F1 = 44.5)을 뚜렷이 앞서며 성능을 높였다.
• 중요도 특징의 추가로 정밀도와 재현율이 모두 향상되었으며, 이는 암시적 목적어가 텍스트 내에서 중요도가 높은 실체일 가능성이 높다는 것을 확인한다.
• 다중 목적어 훈련은 F1 점수를 22~23점 향상시켜 확장된 훈련 설정의 효과를 입증한다.
• 4000만 개의 훈련 예제를 사용한 모델는 F1 점수 49.6을 달성하여 데이터 스케일 증가로 인한 상당한 성능 향상을 보였다.
• 정답 주석 특징 없이도 제안된 모델는 FrameNet, PropBank, NomBank 주석에 의존한 원래의 Gerber 및 Chai(2012) 모델을 능가하는 성능을 보였다.
• fill/no-fill 분류기는 정밀도를 향상시키지만 재현율을 감소시켜, 다중 목적어 훈련과 결합되지 않은 경우에는 네트워크 F1 점수 향상가능성이 없다.