[논문 리뷰] Extracting Action Sequences from Texts Based on Deep Reinforcement Learning

Wenfeng Feng, Hankz Hankui Zhuo외 1명|arXiv (Cornell University)|2018. 03. 07.

Topic Modeling참고 문헌 24인용 수 9

한 줄 요약

이 논문은 사전에 정의된 동작 템플릿이나 알려진 동작 집합이 없는 자유형 자연어 텍스트에서 동작 시퀀스를 추출하는 딥 강화학습 프레임워크인 EASDRL을 제안한다. 단어 선택을 동작으로, 텍스트 맥락을 상태로 모델링함으로써 EASDRL은 필수적, 선택적, 배타적인 동작을 선택하는 정책을 딥 Q네트워크를 사용해 학습하며, 다양한 데이터셋에서 최신 기술 수준의 성능을 달성하고 온라인 인간-인-더-루프 학습에서 뛰어난 강건성을 보여준다.

ABSTRACT

Extracting action sequences from natural language texts is challenging, as it requires commonsense inferences based on world knowledge. Although there has been work on extracting action scripts, instructions, navigation actions, etc., they require that either the set of candidate actions be provided in advance, or that action descriptions are restricted to a specific form, e.g., description templates. In this paper, we aim to extract action sequences from texts in free natural language, i.e., without any restricted templates, provided the candidate set of actions is unknown. We propose to extract action sequences from texts based on the deep reinforcement learning framework. Specifically, we view "selecting" or "eliminating" words from texts as "actions", and the texts associated with actions as "states". We then build Q-networks to learn the policy of extracting actions and extract plans from the labeled texts. We demonstrate the effectiveness of our approach on several datasets with comparison to state-of-the-art approaches, including online experiments interacting with humans.

연구 동기 및 목표

• 사전에 정의된 템플릿이나 알려진 동작 집합이 없는 자연어 텍스트에서 의미 있는 동작 시퀀스를 추출하는 문제에 대응하기 위해.
• 강화학습의 맥락적 상태 표현을 사용해 배타성, 필수성, 선택성과 같은 복잡한 동작 관계를 모델링하기 위해.
• 수동으로 코딩된 동작 어휘나 제한된 문법 형태가 필요 없이 원시 텍스트에서 동작 시퀀스 추출을 엔드 투 엔드로 학습하기 위해.
• 지속적인 학습을 위해 온라인 인간-인-더-루프 상호작용을 통해 모델의 강건성과 적응 능력을 평가하기 위해.

제안 방법

• 자연어 텍스트에서 단어 선택 또는 제거를 동작으로 간주하고, 현재 텍스트 맥락을 강화학습 프레임워크의 상태로 간주한다.
• 현재 상태 기반으로 동작(동사 및 목적어)을 선택하는 정책을 학습하기 위해 딥 Q네트워크(DQN)를 사용하며, 정확성과 구조적 제약 조건에 따라 보상을 조정한다.
• 이전에 추출된 동작을 상태 표현에 통합하여 순차적 의존성과 충돌(예: 배타적 동작)을 해결한다.
• 인간의 피드백이 실시간으로 Q네트워크를 업데이트하는 온라인 학습 환경을 구현한다.
• 표본 효율성과 학습 안정성을 향상시키기 위해 양의 비율 기반 경험 리플레이와 추가적인 희소 보상 기법을 적용한다.
• 라벨이 부여된 데이터셋(WHS, CT, WHG)에서 모델을 엔드 투 엔드로 훈련하고, 라벨이 없는 텍스트에서 인간 피드백을 통한 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 프레임워크는 동작 집합에 대한 사전 지식 없이 자유형 자연어에서 일관되고 의미적으로 올바른 동작 시퀀스를 추출할 수 있는가?
• RQ2 모델은 동작 선택에서 배타성, 필수성, 선택성과 같은 복잡한 동작 관계를 얼마나 잘 다룰 수 있는가?
• RQ3 온라인 학습 루프에 인간 피드백을 통합하면 모델의 성능과 적응 능력이 향상되는가?
• RQ4 추가 보상 및 양의 비율 기반 경험 리플레이와 같은 보조 구성 요소가 모델 수렴과 정확도에 기여하는 정도는 어떠한가?

주요 결과

• EASDRL은 배타적 동작 이름 및 목적어 추출 작업에서 최신 기술 수준의 베이스라인보다 절대 F1 점수로 5% 이상 높은 성능을 기록한다.
• 모델은 세 가지 벤치마크 데이터셋(WHS, CT, WHG)에서 모두 뚜렷한 성능 향상을 보이며, 다양한 도메인 간 일반화 능력이 뛰어나다.
• 온라인 인간-인-더-루프 훈련 결과, 피드백이 축적될수록 EASDRL이 가장 우수한 오프라인 베이스라인(BLCC-2)을 일관되게 능가함을 확인했다.
• 제거 실험 결과, 추가 보상과 양의 비율 기반 경험 리플레이 모두 성능 향상에 필수적임을 입증하였으며, 둘 중 하나를 제거하면 정확도가 떨어졌다.
• 모델은 복잡한 동작 관계를 성공적으로 포착하여, 예를 들어 '요리'와 '쌀 사용' 간의 배타적 동작 쌍을 해결하고, '쌀을 차가운 상태로 유지'와 같은 필수 동작을 정확히 식별했다.