[논문 리뷰] Learning from Explanations with Neural Execution Tree

Ziqi Wang, Yujia Qin외 6명|arXiv (Cornell University)|2019. 11. 04.

Topic Modeling인용 수 17

한 줄 요약

이 논문은 자연어(NL) 설명을 실행 가능한 논리형으로 변환하고 신경 모듈을 사용하여 언어적 변형에 대해 일반화함으로써 자원이 제한된 환경에서 텍스트 분류 성능을 향상시키는 NExT(Neural Execution Tree) 프레임워크를 제안한다. 정확한 일치를 흐린, 모odu larized 매칭(문자열, 세기, 논리, 결정론적 함수)으로 대체함으로써 NExT는 재현율과 일반화 능력을 크게 향상시키며, 최소한의 애너테이션 노력으로도 관계 추출 및 감성 분석 분야에서 최고 성능을 달성한다.

ABSTRACT

While deep neural networks have achieved impressive performance on a range of NLP tasks, these data-hungry models heavily rely on labeled data, which restricts their applications in scenarios where data annotation is expensive. Natural language (NL) explanations have been demonstrated very useful additional supervision, which can provide sufficient domain knowledge for generating more labeled data over new instances, while the annotation time only doubles. However, directly applying them for augmenting model learning encounters two challenges: (1) NL explanations are unstructured and inherently compositional, which asks for a modularized model to represent their semantics, (2) NL explanations often have large numbers of linguistic variants, resulting in low recall and limited generalization ability. In this paper, we propose a novel Neural Execution Tree (NExT) framework to augment training data for text classification using NL explanations. After transforming NL explanations into executable logical forms by semantic parsing, NExT generalizes different types of actions specified by the logical forms for labeling data instances, which substantially increases the coverage of each NL explanation. Experiments on two NLP tasks (relation extraction and sentiment analysis) demonstrate its superiority over baseline methods. Its extension to multi-hop question answering achieves performance gain with light annotation effort.

연구 동기 및 목표

• 자연어 설명을 사용하여 텍스트 분류기 학습 시 저조한 재현율과 낮은 일반화 능력 문제를 해결하기 위해.
• 더 나은 의미 이해를 위해 자연어 설명의 조합적이고 구조화된 성격을 모델링하기 위해.
• 정확한 어휘 일치에 대한 의존도를 줄이기 위해 논리형의 흐린, 신경 기반 일반화를 도입하기 위해.
• 사람이 애너테이션한 자연어 설명으로부터 약한 감독을 통해 저자원 NLP 작업에서 비라벨 데이터를 효과적으로 활용하기 위해.
• 최소한의 애너테이션 노력으로 다단계 질문 응답에 프레임워크를 확장하기 위해.

제안 방법

• 조합적 카테고리어리 문법(CCG) 기반 의미 분석기를 사용하여 자연어 설명을 논리형으로 파싱하기.
• 언어적 변형에 대해 일반화하기 위해 네 가지 신경 매칭 모듈(문자열 매칭, 소프트 세기, 논리 계산, 결정론적 함수 모듈)을 도입하기.
• 정확한 일치 대신 흐린 매칭 점수를 사용하여 레이블이 지정된 인스턴스의 커버리지 증가시키기.
• 신뢰도 임계값을 사용하여 원시 코퍼스에서 얻은 가짜 레이블 인스턴스와 함께 레이블이 지정된 데이터를 동시에 학습하기.
• 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 활용하여 모델 일반화 능력을 향상시키는 공동 학습 알고리즘 적용하기.
• 21개의 자연어 설명과 5개의 수작업 규칙을 사용하여 다단계 질문 응답에 프레임워크를 적응시키기.

실험 결과

연구 질문

• RQ1 자연어 설명을 실행 가능한 논리형으로 효과적으로 변환할 수 있는가? 이는 저자원 NLP 작업에서 모델 일반화 능력을 향상시키는 데 기여하는가?
• RQ2 설명의 언어적 다양성을 어떻게 다루어야 새로운 인스턴스의 레이블링 재현율과 강건성을 향상시킬 수 있는가?
• RQ3 신경 모듈을 사용하여 정확한 일치를 부드럽게 하고 설명 기반 레이블링 규칙의 흐린, 조합적 일반화를 가능하게 할 수 있는가?
• RQ4 NExT는 얼마나 적은 수의 인간 애너테이션된 설명으로도 텍스트 분류 및 다단계 질문 응답 성능을 향상시킬 수 있는가?
• RQ5 레이블이 지정된 데이터와 가짜 레이블이 지정된 데이터의 공동 학습이 기존의 약한 감독 방식에 비해 모델 성능 향상에 얼마나 기여하는가?

주요 결과

• NExT는 신뢰도 임계값 >0.1일 때 비라벨 데이터를 사용하여 SemEval-2010 Task 8 데이터셋에서 75.60%의 정확도를 달성했으며, 기준 모델들을 능가했다.
• 단지 21개의 자연어 설명과 5개의 규칙만을 사용하여 다단계 질문 응답에서 성능을 1% 향상시켰다.
• NExT는 언어적 변형에 대해 일반화함으로써 설명의 커버리지를 크게 향상시켰고, 의미적으로 동일하지만 어휘적으로 다른 문장에서 실패하는 것을 방지했다.
• 소프트 세기 모듈과 논리 계산 모듈은 어휘적 변형과 수치 표현의 변형을 효과적으로 처리하는 데 특히 유용했다.
• 가짜 레이블 인스턴스에 대한 신뢰도 기반 필터링을 통한 공동 학습 전략은 여러 데이터셋에서 일관된 성능 향상을 이끌어냈다.
• NExT는 강력한 일반화 능력을 보였으며, 고신뢰도 레이블링 결정을 유지하면서도 비라벨 데이터의 효과적 활용을 가능하게 했다.