[논문 리뷰] Event Extraction with Generative Adversarial Imitation Learning

Tongtao Zhang, Heng Ji|arXiv (Cornell University)|2018. 04. 21.

Reinforcement Learning in Robotics참고 문헌 28인용 수 12

한 줄 요약

이 논문은 이벤트 추출을 위한 생성적 적대적 암시 학습(GAIL) 프레임워크를 제안하며, 전문가(인간 레이블링)의 행동 기반으로 역강화학습을 사용해 동적으로 보상을 추정함으로써, 명시적 특징 공학 없이도 모호하고 드문 이벤트에 대해 성능을 향상시킨다. 이 방법은 하위 작업 간 공유 파라미터와 GAN을 통한 적응형 보상 설계를 통해 최신 기술보다 뛰어난 성능을 달성한다.

ABSTRACT

We propose a new method for event extraction (EE) task based on an imitation learning framework, specifically, inverse reinforcement learning (IRL) via generative adversarial network (GAN). The GAN estimates proper rewards according to the difference between the actions committed by the expert (or ground truth) and the agent among complicated states in the environment. EE task benefits from these dynamic rewards because instances and labels yield to various extents of difficulty and the gains are expected to be diverse -- e.g., an ambiguous but correctly detected trigger or argument should receive high gains -- while the traditional RL models usually neglect such differences and pay equal attention on all instances. Moreover, our experiments also demonstrate that the proposed framework outperforms state-of-the-art methods, without explicit feature engineering.

연구 동기 및 목표

• 기존 강화학습이 이벤트 추출에서 고정된 보상이 어려운 인스턴스의 난이도와 드문 이벤트의 중요성을 반영하지 못하는 한계를 해결하기 위해.
• 정확한 예측의 진정한 가치를 반영하는 동적이고 맥락 민감한 보상이 적용된 강화학습 문제로 이벤트 추출을 모델링하기 위해.
• 전문가 레이블링을 통한 암시 학습을 통해 최적의 정책을 학습시켜 광범위한 특징 공학의 의존도를 줄이기 위해.
• 서브태스크 간 공유되는 파라미터와 임베딩(예: 트리거 및 인자 탐지)이 전체 성능 향상에 기여하는지 증명하기 위해.

제안 방법

• 프레임워크는 에이전트(추출기)가 관찰된 상태(문장 특징) 기반으로 행동(이벤트 유형, 인자 역할)을 선택하는 강화학습 문제로 이벤트 추출을 모델링한다.
• 전문가의 시연(정답 레이블링)에서 보상 함수를 추정하기 위해 역강화학습(IRL)을 사용하여 행동과 상태의 차이에 기반한 동적 보상 할당을 가능하게 한다.
• 생성적 적대망(GAN)을 사용해 보상 함수를 추정한다: 생성기(추출기)는 전문가를 모방하고, 판별기는 전문가 행동과 에이전트 행동을 구분한다.
• 특히 어려운 또는 모호한 케이스에서 에이전트 행동과 전문가 행동 간 유사도를 최대화하도록 보상 함수를 최적화한다.
• 트리거 탐지, 인자 레이블링 등의 다수의 하위 작업 간 공유 임베딩과 파라미터를 사용하여 일반화 및 성능 향상을 도모한다.
• 학습 과정은 추정된 보상 기반으로 반복적인 정책 업데이트를 포함하며, 트리거 및 인자 레이블링의 F1 스코어를 통해 성능을 모니터링한다.

실험 결과

연구 질문

• RQ1 전문가 행동에서 유도된 동적 보상 함수가 고정 보상 대비 모호하고 드문 이벤트에 대해 이벤트 추출 성능을 향상시킬 수 있는가?
• RQ2 GAN 기반 역강화학습을 통한 암시 학습이 이벤트 추출에서 명시적 언어학적 특징 공학의 필요성을 줄일 수 있는가?
• RQ3 서브태스크 간 공유된 파라미터와 임베딩이 통합 이벤트 추출 성능에 어떤 영향을 미치는가?
• RQ4 제안된 프레임워크가 광범위한 특징 공학에 의존하는 최신 기술 모델을 초월할 수 있는가?

주요 결과

• 제안된 GAIL 기반 프레임워크는 특징 공학 없이도 트리거 및 인자 레이블링 모두에서 최신 기술 모델을 능가하며, 더 높은 F1 스코어를 달성한다.
• 인자 레이블링에서 트리거와 실체를 함께 학습한 프레임워크는 55.9%의 F1 스코어를 기록했으며, 트리거 전용 학습 설정의 23.3% F1 스코어보다 뚜렷이 뛰어나다.
• GAIL에서 유도된 동적 보상이 적용된 모델는 수렴 속도가 느렸지만 결국 고정 보상 기반 베이스라인을 뛰어넘었으며, 적응형 보상 설계의 이점을 입증했다.
• 모호한 트리거(예: 'campaign')에 대해 올바른 행동과 잘못된 행동 간 보상 간격이 시간이 지남에 따라 증가했으며, 이는 모델이 정확한 예측을 우선시하도록 학습했다는 것을 시사한다.
• Li 등(2014)의 특징 공학 기반 베이스라인과 비교해 유의미한 성능 우월성을 보였으며, 95% 신뢰수준에서 결과의 차이가 통계적으로 유의미했다.
• 실체 및 트리거 탐지에서의 공동 학습은 추론 시 실체가 필요하지 않은 상황에서도 인자 레이블링 성능을 향상시켰으며, 공동 표현 학습의 가치를 입증했다.